Разложим выражение на множители, вынеся общий множитель за скобки.
$$a^2b^2 - 4ab^3 + 6a^3b = ab \cdot ab - ab \cdot 4b^2 + ab \cdot 6a^2 = ab(ab - 4b^2 + 6a^2)$$
Ответ: $$ab(ab - 4b^2 + 6a^2)$$