Ответ:

а) Сделаем замену \(y=x^2\): тогда \(y^2-6y+5=0\).

Разложим на множители: \((y-1)(y-5)=0\), значит, \(y=1\) или \(y=5\).

Возвращаясь к \(x\), получаем \(x^2=1\) или \(x^2=5\). Следовательно, \(x=\pm1\) или \(x=\pm\sqrt5\).

б) Знаменатель не должен быть равен нулю, поэтому \(x\ne3\). Числитель раскладывается так: \(x^2-2x-3=(x-3)(x+1)\).

Дробь равна нулю, когда её числитель равен нулю, а знаменатель не равен нулю. Из \(x=3\) и \(x=-1\) значение \(x=3\) исключается; остаётся \(x=-1\).

Ответ: а) \(x=-1, 1, -\sqrt5, \sqrt5\); б) \(x=-1\).