Ответ:
а) Критические точки: \(-4\) (знаменатель обращается в ноль), \(-1\) и \(1\) (числитель обращается в ноль). По знакам множителей дробь неположительна на \((-\infty,-4)\) и \([-1,1]\). Точку \(-4\) исключаем из области определения.
б) Разложим на множители: \(\frac{x^2-6x+9}{x^2-4x-5}=\frac{(x-3)^2}{(x-5)(x+1)}\). Точки \(-1\) и \(5\) исключены из области определения, а числитель равен нулю при \(x=3\). Дробь неотрицательна вне промежутка между полюсами, а внутри него равна нулю только при \(x=3\).
Ответ: а) \((-\infty,-4)\cup[-1,1]\); б) \((-\infty,-1)\cup\{3\}\cup(5,+\infty)\).
