Ответ:

Раскроем скобки:

\((a+b)^2-2a(3-2a)=a^2+2ab+b^2-6a+4a^2\).

Приведём подобные слагаемые:

\(a^2+4a^2+2ab+b^2-6a=5a^2+2ab+b^2-6a\).

Ответ: \(5a^2+2ab+b^2-6a\).