Ответ:

а) Критические точки: \(-3\) (знаменатель обращается в ноль), \(2\) и \(4\) (числитель обращается в ноль). Знаки на промежутках чередуются; дробь отрицательна на \((-\infty,-3)\) и \((2,4)\).

б) Разложим на множители:

\[\frac{x^2-8x+16}{x^2-3x-10}=\frac{(x-4)^2}{(x-5)(x+2)}.\]

ОДЗ: \(x\ne-2\), \(x\ne5\). Квадрат числителя положителен при \(x\ne4\) и равен нулю при \(x=4\). Знаменатель положителен при \(x<-2\) и \(x>5\), отрицателен при \(-2

Ответ: а) \((-\infty,-3)\cup(2,4)\); б) \((-\infty,-2)\cup(5,+\infty)\).