Для умножения многочлена на многочлен необходимо каждый член первого многочлена умножить на каждый член второго многочлена, а затем привести подобные слагаемые.
11) $$(a^2+ab+b^2)(a-b) = a^2 \cdot a + a^2 \cdot (-b) + ab \cdot a + ab \cdot (-b) + b^2 \cdot a + b^2 \cdot (-b) = a^3 - a^2b + a^2b - ab^2 + ab^2 - b^3 = a^3 - b^3$$.
Ответ: $$a^3 - b^3$$