Первый член разложения при умножении на второй и удвоении должен дать -42kn^5t^{10}, значит это 3t^{10}.
$$(3t^{10} - 7kn^5)^2 = (3t^{10})^2 - 2*(3t^{10})*(7kn^5) + (7kn^5)^2 = 9t^{20} - 42kn^5t^{10} + 49k^2n^{10}$$. Ответ: $$(3t^{10} - 7kn^5)^2 = 9t^{20} - 42kn^5t^{10} + 49k^2n^{10}$$