Ответ:

а) Преобразуем смешанные числа: \(3\frac{3}{7}=\frac{24}{7}\), \(-2\frac{1}{3}=-\frac{7}{3}\).

\[\left(-\frac{7}{3}x^5y\right)^2=\frac{49}{9}x^{10}y^2.\]

Тогда

\[\frac{24}{7}x^5y^6\cdot\frac{49}{9}x^{10}y^2=\frac{24\cdot49}{7\cdot9}x^{15}y^8=\frac{56}{3}x^{15}y^8.\]

б) Раскроем квадрат суммы:

\[\frac{(a^n+1)^2}{a^{2n}}=\frac{a^{2n}+2a^n+1}{a^{2n}}=1+\frac{2}{a^n}+\frac{1}{a^{2n}},\quad a\ne0.\]

Ответ: а) \(\frac{56}{3}x^{15}y^8\); б) \(1+\frac{2}{a^n}+\frac{1}{a^{2n}}\).