Ответ:

Подставим значение \(a\): \(5-(1+\sqrt{2})^2=5-(1+2\sqrt{2}+2)=2-2\sqrt{2}\).

Ответ: \(2-2\sqrt{2}\).