Вспомним формулу квадрата разности двух чисел: $$(a - b)^2 = a^2 - 2ab + b^2$$.
Тогда $$(x^3 - 3x^4)^2 = (x^3)^2 - 2 \cdot x^3 \cdot 3x^4 + (3x^4)^2 = x^6 - 6x^7 + 9x^8$$.
Ответ: $$x^6 - 6x^7 + 9x^8$$