Ответ:

Раскроем скобки:

\((x-1)(x^4-ax^3+2x^2+2x+b)=x^5-(a+1)x^4+(a+2)x^3+(b-2)x-b\).

Сравним коэффициенты с многочленом \(x^5+x^3-2\):

  1. \(-(a+1)=0\), поэтому \(a=-1\);
  2. \(b-2=0\), поэтому \(b=2\).

Проверка: при \(a=-1\), \(b=2\) получаем \((x-1)(x^4+x^3+2x^2+2x+2)=x^5+x^3-2\).

Ответ: \(a=-1\), \(b=2\).