Первый член разложения в квадрате должен дать \frac{9}{25}b^8, значит это \frac{3}{5}b^4.
$$(\frac{5}{4}am^3 - \frac{3}{5}b^4)^2 = (\frac{5}{4}am^3)^2 - 2*(\frac{5}{4}am^3)*(\frac{3}{5}b^4) + (\frac{3}{5}b^4)^2 = \frac{25}{16}a^2m^6 - \frac{3}{2}am^3b^4 + \frac{9}{25}b^8$$. Ответ: $$(\frac{5}{4}am^3 - \frac{3}{5}b^4)^2 = \frac{25}{16}a^2m^6 - \frac{3}{2}am^3b^4 + \frac{9}{25}b^8$$