Умножим числитель и знаменатель дроби под корнем на сопряженное выражение знаменателя:
$$\sqrt{\frac{(5-\sqrt{7})(3+\sqrt{7})}{(3-\sqrt{7})(3+\sqrt{7})}}-\sqrt{7} = \sqrt{\frac{15+5\sqrt{7}-3\sqrt{7}-7}{9-7}}-\sqrt{7} = \sqrt{\frac{8+2\sqrt{7}}{2}}-\sqrt{7} = \sqrt{4+\sqrt{7}}-\sqrt{7}$$
Это выражение не упрощается дальше без дополнительных преобразований или приближенных значений.