Ответ:

Раскроем скобки:

\((5a^3b-3a^2b)(4ab+5ab^3)=20a^4b^2+25a^4b^4-12a^3b^2-15a^3b^4\).

\((-4ab+3b^3)(5a^3b)=-20a^4b^2+15a^3b^4\).

Сложим подобные слагаемые: \(20a^4b^2-20a^4b^2=0\), а \(-15a^3b^4+15a^3b^4=0\). Получаем \(25a^4b^4-12a^3b^2\).

Подставим \(a=1\), \(b=2\): \(25\cdot1^4\cdot2^4-12dot1^3\cdot2^2=400-48=352\).

Ответ: \(25a^4b^4-12a^3b^2\); при \(a=1\), \(b=2\) значение равно \(352\).