Ответ:

Раскроем скобки, учитывая, что перед вторыми скобками стоит знак минус:

\((5,7a^2 - 2,1ab + b^2) - (3,9ab - 0,3a^2 + 2b^2) = 5,7a^2 - 2,1ab + b^2 - 3,9ab + 0,3a^2 - 2b^2\).

Сложим подобные слагаемые: \(6a^2 - 6ab - b^2\).

Подставим \(a=-1\), \(b=5\): \(6\cdot(-1)^2 - 6\cdot(-1)\cdot5 - 5^2 = 6 + 30 - 25 = 11\).

Ответ: 11.