Ответ:

Применим формулу квадрата разности:

\((a-b)^2=a^2-2ab+b^2\).

\((\sqrt{77}-5)^2=(\sqrt{77})^2-2\cdot\sqrt{77}\cdot5+5^2=77-10\sqrt{77}+25=102-10\sqrt{77}\).

Ответ: \(102-10\sqrt{77}\).