Ответ:

Раскроем скобки и приведём подобные слагаемые:

\((3a-b)^2-6a(a-b)=9a^2-6ab+b^2-6a^2+6ab\).

Слагаемые \(-6ab\text{ и }+6ab\) сокращаются, поэтому получаем \(3a^2+b^2\).

Ответ: \(3a^2+b^2\).