Ответ:

Рассматриваем обмен как передачу трёх книг каждым участником и считаем, что выбрать для обмена можно любую пару из трёх человек.

Вася и Петя: C(8,3) · C(9,3) = 4704 способа.

Вася и Аня: C(8,3) · C(6,3) = 1120 способов.

Петя и Аня: C(9,3) · C(6,3) = 1680 способов.

Ответ: 4704 + 1120 + 1680 = 7504 способа.