Преобразуем многочлен, приведя подобные слагаемые:
$$36aba^2b - 12a^3bb - 8a^3 \cdot 2b^2 - 2ab^3 \cdot 5a^2 = 36a^3b^2 - 12a^3b^2 - 16a^3b^2 - 10a^3b^2 = (36a^3b^2 - 12a^3b^2 - 16a^3b^2 - 10a^3b^2) = -2a^3b^2$$
Степень многочлена определяется наибольшей степенью входящих в него одночленов. В данном случае наибольшая степень равна 5.
Ответ: 5