Ответ:

1) Здесь нужны \(a>0\) и \(b>0\): в выражении есть корни чётной степени и отрицательная степень.

Запишем корни через дробные показатели:

\(\sqrt[3]{a^5\sqrt{b}\,\sqrt[4]{a^{-1}}}=a^{(5-\frac14)/3}b^{1/6}=a^{19/12}b^{1/6}\).

Знаменатель:

\(\left(a^2\sqrt[5]{ab^3}\right)^2=\left(a^2a^{1/5}b^{3/5}\right)^2=a^{22/5}b^{6/5}\).

При делении вычитаем показатели одинаковых оснований:

\(\frac{a^{19/12}b^{1/6}}{a^{22/5}b^{6/5}}=a^{-169/60}b^{-31/30}=\frac{1}{a^{169/60}b^{31/30}}\).

2) Представим подкоренные выражения степенями числа 5:

\(\sqrt{5\sqrt[3]{5}}=5^{(1+1/3)/2}=5^{2/3}\).

\(\sqrt[3]{5\sqrt{5}}=5^{1/2}\), а \(\sqrt[4]{5\sqrt[3]{5}}=5^{1/3}\). Поэтому знаменатель равен \((5^{1/2}5^{1/3})^{1/2}=5^{5/12}\).

Делим степени с одинаковым основанием:

\(5^{2/3}:5^{5/12}=5^{8/12-5/12}=5^{1/4}=\sqrt[4]{5}\).

Ответ: 1) \(\frac{1}{a^{169/60}b^{31/30}}\); 2) \(\sqrt[4]{5}\).