Упростим выражение:
$$ab(a + b) - (a^2 + b^2)(3a - b) = a^2b + ab^2 - (3a^3 - a^2b + 3ab^2 - b^3) = a^2b + ab^2 - 3a^3 + a^2b - 3ab^2 + b^3 = -3a^3 + 2a^2b - 2ab^2 + b^3$$
Ответ: $$-3a^3 + 2a^2b - 2ab^2 + b^3$$