В данном предложении требуется выбрать модальный глагол, который выражает запрет. Фраза "be quiet in the library" (будь тихим в библиотеке) является правилом поведения, нарушая которое, можно получить наказание или вызвать неодобрение. Поэтому используется глагол mustn't, который указывает на строгий запрет.
Ответ: mustn't