Ответ:

1) Положим \(a=\sqrt{x}\), \(b=\sqrt{y}\), где \(a,b\ge0\). Тогда \(ab=\sqrt{xy}=6\) и \(a+b=5\). Числа \(a,b\) — корни уравнения \(t^2-5t+6=0\), то есть 2 и 3. Значит, \((x,y)=(4,9)\) или \((9,4)\).

2) Пусть \(a=\sqrt{x}\), \(b=\sqrt{y}\), где \(a,b\ge0\). Тогда \(a-b=2ab\), а \(a^2+b^2=20\). Из первого равенства \(a=b(1+2a)\). Возведём в квадрат: \(a^2-b^2=4ab\sqrt{?}\) — проще использовать \(a-b=2ab\): возведя в квадрат, получаем \(a^2+b^2-2ab=4a^2b^2\). Подстановка \(a^2+b^2=20\) даёт \(20-2ab=4(ab)^2\). Пусть \(p=ab\ge0\). Тогда \(2p^2+p-10=0\), откуда \(p=2\). Следовательно, \((a-b)^2=4p^2=16\), а \(a+b\ge0\) и \((a+b)^2=20+2p=24\). Но \((a-b)^2=16\) и \((a+b)^2=24\) несовместимы с разностью квадратов \(4ab=8\): они совместимы, однако дают \(a+b=2\sqrt6\), \(a-b=4\), откуда \(b=(2\sqrt6-4)/2=\sqrt6-2\ge0\), \(a=\sqrt6+2\). Тогда \(x=(\sqrt6+2)^2=10+4\sqrt6\), \(y=(\sqrt6-2)^2=10-4\sqrt6\).

Ответ: 1) \((4;9), (9;4)\); 2) \((10+4\sqrt6;10-4\sqrt6)\).