Приведем подобные члены многочлена: $$5ab - 9ab + a^2b^2 = (5-9)ab + a^2b^2 = -4ab + a^2b^2$$.
Ответ: $$-4ab + a^2b^2$$