Второй член разложения в квадрате должен дать 25y^{2m}, значит это 5y^m. Значит второй член в произведении 5y^m.
$$(x^n + 5y^m)^2 = (x^n)^2 + 2*(x^n)*(5y^m) + (5y^m)^2 = x^{2n} + 10x^ny^m + 25y^{2m}$$. Ответ: $$(x^n + 5y^m)^2 = x^{2n} + 10x^ny^m + 25y^{2m}$$