Преобразуем многочлен, приведя подобные слагаемые:
$$12a^2b + 16ab^2 - 20a^2b + 5ab^2 - 20b^2a - 20 = (12a^2b - 20a^2b) + (16ab^2 + 5ab^2 - 20ab^2) - 20 = -8a^2b + ab^2 - 20$$
Степень многочлена - это наибольшая степень входящих в него одночленов. В данном случае это 3.
Ответ: 3