5) 1³⁄₄ a²b(4b²- ⁸⁄₇ab+ ¹⁶⁄₂₁a³);

5) Раскроем скобки и приведем подобные слагаемые:

$$1\frac{3}{4}a^2b(4b^2-\frac{8}{7}ab+\frac{16}{21}a^3) = \frac{7}{4}a^2b \cdot 4b^2 - \frac{7}{4}a^2b \cdot \frac{8}{7}ab + \frac{7}{4}a^2b \cdot \frac{16}{21}a^3 = 7a^2b^3 - \frac{7 \cdot 8}{4 \cdot 7} a^3b^2 + \frac{7 \cdot 16}{4 \cdot 21} a^5b = 7a^2b^3 - 2a^3b^2 + \frac{4}{3}a^5b.$$

Ответ: $$7a^2b^3 - 2a^3b^2 + \frac{4}{3}a^5b$$