Ответ:

а) Обозначим \(u=\sqrt{a}\), \(v=\sqrt{b}\). В знаменателе сумма кубов:

\(\dfrac{\sqrt{a}+\sqrt{b}}{a\sqrt{a}+b\sqrt{b}}=\dfrac{u+v}{u^3+v^3}=\dfrac{u+v}{(u+v)(u^2-uv+v^2)}=\dfrac{1}{a-\sqrt{ab}+b}.\)

б) Положим \(t=\sqrt{a}\). Знаменатель раскладывается по формуле суммы кубов:

\(a\sqrt{a}+3\sqrt{3}=t^3+(\sqrt{3})^3=(t+\sqrt{3})(t^2-\sqrt{3}t+3).\)

Числитель равен \(t^2-\sqrt{3}t+3\), поэтому сокращаем общий множитель:

\(\dfrac{a-\sqrt{3a}+3}{a\sqrt{a}+3\sqrt{3}}=\dfrac{t^2-\sqrt{3}t+3}{(t+\sqrt{3})(t^2-\sqrt{3}t+3)}=\dfrac{1}{\sqrt{a}+\sqrt{3}}.\)

Ответ: а) \(\dfrac{1}{a-\sqrt{ab}+b}\); б) \(\dfrac{1}{\sqrt{a}+\sqrt{3}}\).