Приведем подобные члены многочлена: $$36aba^2b - 12a^3bb - 8a^3 \cdot 2b^2 - 2ab^3 \cdot 5a^2 = 36a^3b^2 - 12a^3b^2 - 16a^3b^2 - 10a^3b^2 = (36 - 12 - 16 - 10)a^3b^2 = -2a^3b^2$$. Степень многочлена равна наибольшей сумме степеней переменных, входящих в одночлен, то есть 5.
Ответ: 5