Ответ:

1) Представим корни как степени:

\(\sqrt[3]{a^5\sqrt{b}\sqrt[4]{a^{-1}}}=a^{(5-\frac14)/3}b^{1/6}=a^{19/12}b^{1/6}\).

\(\left(a^2\sqrt[5]{ab^3}\right)^2=\left(a^{11/5}b^{3/5}\right)^2=a^{22/5}b^{6/5}\).

Делим степени с одинаковыми основаниями: \(a^{19/12-22/5}b^{1/6-6/5}=a^{-169/60}b^{-31/30}\).

2) Запишем все множители как степени числа 5:

\(\sqrt{5\sqrt[3]{5}}=5^{2/3}\), \(\sqrt[3]{5\sqrt{5}}=5^{1/2}\), \(\sqrt[4]{5\sqrt[3]{5}}=5^{1/3}\).

Тогда выражение равно \(5^{2/3}:\left(5^{1/2}\cdot5^{1/3}\right)^{1/2}=5^{2/3-5/12}=5^{1/4}=\sqrt[4]{5}\).

Ответ: 1) \(\frac{1}{a^{169/60}b^{31/30}}\); 2) \(\sqrt[4]{5}\).