Выполним упрощение выражения:
$$36aba^2b-12a^3bb-8a^2 \cdot 2ab^3-2ab^5a^2$$
$$36a^{1+2}b^{1+1}-12a^3b^2-16a^{2+1}b^3-2a^{1+2}b^5$$
$$36a^3b^2-12a^3b^2-16a^3b^3-2a^3b^5$$
Сгруппируем подобные слагаемые:
$$36a^3b^2-12a^3b^2-16a^3b^3-2a^3b^5$$
Приведем подобные слагаемые:
$$(36-12)a^3b^2-16a^3b^3-2a^3b^5$$
$$24a^3b^2-16a^3b^3-2a^3b^5$$
Ответ: $$24a^3b^2-16a^3b^3-2a^3b^5$$