Решение:

1. Упростим выражение: $$5a^3b + 4a \cdot 3a^2b + abb - 4bab = 5a^3b + 12a^3b + ab^2 - 4ab^2$$
2. Сложим подобные слагаемые с $$a^3b$$: $$5a^3b + 12a^3b = 17a^3b$$
3. Сложим подобные слагаемые с $$ab^2$$: $$ab^2 - 4ab^2 = -3ab^2$$
4. Объединим все результаты: $$17a^3b - 3ab^2$$

Ответ: $$17a^3b - 3ab^2$$