Ответ:

Вынесем множители за скобки:

\(5ab+a^{-3}=a^{-3}(5a^4b+1)\), поэтому

\((5ab+a^{-3})^2=a^{-6}(5a^4b+1)^2\).

В знаменателе:

\(5a^4b^{-2}+b^{-3}=b^{-3}(5a^4b+1)\).

Следовательно, первая дробь равна

\[\frac{a^{-6}(5a^4b+1)^2}{b^{-3}(5a^4b+1)}=a^{-6}b^3(5a^4b+1)=5a^{-2}b^4+a^{-6}b^3.\]

После вычитания:

\(5a^{-2}b^4+a^{-6}b^3-5a^{-2}b^4=a^{-6}b^3=\frac{b^3}{a^6}\).

Ответ: \(\frac{b^3}{a^6}\).