Для решения данного выражения, сначала раскроем скобки. Так как перед второй скобкой стоит знак плюс, знаки в скобках не меняются:
$$5a^2 - 11ab + 8b^2 - 2b^2 - 7a^2 + 5ab$$
Теперь сгруппируем подобные члены:
$$(5a^2 - 7a^2) + (-11ab + 5ab) + (8b^2 - 2b^2)$$
Выполним вычисления:
$$-2a^2 - 6ab + 6b^2$$
Ответ: $$-2a^2 - 6ab + 6b^2$$