Ответ:

\[ \left(x^3-\frac{1}{4}xy^2\right)^2=x^6-2\cdot x^3\cdot\frac{1}{4}xy^2+\left(\frac{1}{4}xy^2\right)^2=x^6-\frac{1}{2}x^4y^2+\frac{1}{16}x^2y^4. \]

Ответ: \(x^6-\frac{1}{2}x^4y^2+\frac{1}{16}x^2y^4\).