Ответ:

Сгруппируем слагаемые:

\(a^3-b^3+3ab^2-3a^2b=a^3-3a^2b+3ab^2-b^3\).

Это формула разности кубов: \(a^3-3a^2b+3ab^2-b^3=(a-b)^3\).

Ответ: \((a-b)^3\).