Сгруппируем подобные члены и упростим выражение:
$$12a^2b + 16ab^2 - 20a^2b + 5ab^2 - 20b^2a - 20 = (12a^2b - 20a^2b) + (16ab^2 + 5ab^2 - 20ab^2) - 20 = -8a^2b + ab^2 - 20$$
Ответ: $$-8a^2b + ab^2 - 20$$