Ответ:

а) Упростим корни и раскроем скобки:

\(\frac{5}{4}\sqrt{48}+\sqrt{5}(\sqrt{5}-\sqrt{15})=\frac{5}{4}\cdot4\sqrt{3}+5-\sqrt{75}=5\sqrt{3}+5-5\sqrt{3}=5.\)

б) Применим формулу квадрата разности:

\((\sqrt{13}-\sqrt{3})^2=13-2\sqrt{39}+3=16-2\sqrt{39}.\)

Ответ: а) 5; б) \(16-2\sqrt{39}\).