5) 1/4a²b(4b² - 8/7ab + 21/7a²);

Преобразуем выражение:

$$ \frac{1}{4}a^2b(4b^2 - \frac{8}{7}ab + \frac{21}{7}a^2) = a^2b^3 - \frac{2}{7}a^3b^2 + \frac{3}{4}a^4b$$

Ответ: $$a^2b^3 - \frac{2}{7}a^3b^2 + \frac{3}{4}a^4b$$