Ответ:

а)

Раскроем квадраты и приведём подобные слагаемые:

\((2x-x^2-3)^2=x^4-4x^3+10x^2-12x+9\).

\((x^2-3x-1)^2=x^4-6x^3+7x^2+6x+1\).

Складываем:

\(x^4-4x^3+10x^2-12x+9+x^4-6x^3+7x^2+6x+1=2x^4-10x^3+17x^2-6x+10\).

б)

\((x-x^2-3)^3=-(x^2-x+3)^3\).

\((x^2-x+3)^2=x^4-2x^3+7x^2-6x+9\).

Умножаем на \(x^2-x+3\), затем меняем знак:

\(-(x^6-3x^5+12x^4-19x^3+36x^2-27x+27)=-x^6+3x^5-12x^4+19x^3-36x^2+27x-27\).