Раскроем скобки и приведём подобные слагаемые:
\( a^2 + (3a - b)^2 = a^2 + ((3a)^2 - 2 \cdot 3a \cdot b + b^2) = a^2 + 9a^2 - 6ab + b^2 = 10a^2 - 6ab + b^2 \)
Ответ: 10a² - 6ab + b².