Ответ:

Раскроем квадрат разности и учтём знак минус перед скобками:

\((5a-3b)^2-(25a^2-9b^2)=25a^2-30ab+9b^2-25a^2+9b^2\).

Приведём подобные слагаемые: \(-30ab+18b^2\).

Ответ: \(18b^2-30ab\).