Ответ:

Раскроем квадрат суммы и приведём подобные слагаемые:

\((5a^2+3b)^2-30a^2b=25a^4+30a^2b+9b^2-30a^2b=25a^4+9b^2\).

Ответ: \(25a^4+9b^2\).