Ответ:

Сгруппируем слагаемые:

\[ax^2+bx^2-ay-by^2-ay^2-by=(a+b)x^2-(a+b)y-(a+b)y^2.\]

Вынесем общий множитель \(a+b\):

\[(a+b)(x^2-y-y^2).\]

Ответ: \((a+b)(x^2-y-y^2)\).