Ответ:

Считаем три книги, которые должны стоять вместе, одним блоком. Вместе с остальными семью книгами это 8 объектов.

Без ограничения на соседство двух других определённых книг их можно расставить 8! способами. Если эти две книги стоят рядом, объединяем их в блок: тогда есть 7 объектов, расставляемых 7! способами, и 2! порядка внутри блока. Число запрещённых расстановок — 2 · 7!.

Допустимых расстановок объектов: 8! − 2 · 7! = 30 240. Три книги внутри своего блока можно переставить 3! способами.

Итого: 30 240 · 3! = 181 440.

Ответ: 181 440 способами.