Ответ:

Раскроем скобки:

\(a(a+2b)-(a+b)^2=a^2+2ab-(a^2+2ab+b^2)\).

Приведём подобные слагаемые:

\(a^2+2ab-a^2-2ab-b^2=-b^2\).

Ответ: \(-b^2\).