а) $$3x^5y \cdot \left(-\frac{5}{3}xy^6\right) = 3 \cdot \left(-\frac{5}{3}\right) \cdot x^5 \cdot x \cdot y \cdot y^6 = -5x^{5+1}y^{1+6} = -5x^6y^7$$.
Ответ: $$-5x^6y^7$$
б) При возведении произведения в степень, каждый множитель возводится в эту степень: $$(-4x^4y^{11})^3 = (-4)^3 \cdot (x^4)^3 \cdot (y^{11})^3 = -64 \cdot x^{4 \cdot 3} \cdot y^{11 \cdot 3} = -64x^{12}y^{33}$$.
Ответ: $$-64x^{12}y^{33}$$