Ответ:

Раскроем скобки и приведём подобные слагаемые:

\[(a^2+2ab-bx^2)-(x^3-ax^2-b^2)-bx^2+x^3=a^2+2ab+b^2+ax^2-2bx^2.\]

Разделим слагаемые на содержащие и не содержащие \(x\):

\[a^2+2ab+b^2+(a-2b)x^2.\]

Ответ: \((a-2b)x^2+(a^2+2ab+b^2)\).