Приведем подобные члены:
$$4b^2 + a^2 + 6ab - 11b^2 - 6ab = a^2 + (4b^2 - 11b^2) + (6ab - 6ab) = a^2 - 7b^2$$
Ответ: $$a^2-7b^2$$