Смотри, тут всё просто: a² + b² - 2ab - это развернутая запись формулы квадрата разности двух чисел. Эта формула выглядит так:
(a - b)² = a² - 2ab + b²
Сравнивая исходное выражение a² + b² - 2ab с правой частью формулы, видим, что они идентичны, только порядок слагаемых немного изменен. Переставим слагаемые в исходном выражении, чтобы стало совсем очевидно:
a² - 2ab + b²
Теперь точно видно, что это (a - b)².
Ответ: (a - b)²