Воспользуемся формулой $$(a - b)^2 = a^2 - 2ab + b^2$$. В нашем случае $$a = 5\sqrt{6}$$ и $$b = 6\sqrt{2}$$. Тогда:
$$(5\sqrt{6} - 6\sqrt{2})^2 = (5\sqrt{6})^2 - 2 \cdot 5\sqrt{6} \cdot 6\sqrt{2} + (6\sqrt{2})^2 = 25 \cdot 6 - 60\sqrt{12} + 36 \cdot 2 = 150 - 60 \cdot 2\sqrt{3} + 72 = 222 - 120\sqrt{3}.$$Следовательно, правильный ответ:
4) $$222 - 120\sqrt{3}$$