Ответ:

Раскроем квадрат суммы:

\(10ab+(-5a+b)^2=10ab+25a^2-10ab+b^2=25a^2+b^2\).

Подставим значения: \(25\cdot10+5=255\).

Ответ: 255.