Ответ:

а) Разложим множители на линейные:

\((x^2-16)(x^2-9x+20)=(x-4)(x+4)(x-4)(x-5)=(x-4)^2(x+4)(x-5)\).

Квадрат \((x-4)^2\) неотрицателен и обращается в ноль при \(x=4\). Произведение \((x+4)(x-5)\) неотрицательно при \(x\le -4\) или \(x\ge 5\). Также подходит \(x=4\).

б) Разложим числитель и знаменатель:

\(\dfrac{x^2+4x+4}{x^2-9x+8}=\dfrac{(x+2)^2}{(x-1)(x-8)}\), где \(x\ne1,8\).

Дробь равна нулю при \(x=-2\). Она отрицательна, когда знаменатель отрицателен, то есть при \(1<x<8\).

Ответ: а) \((-\infty,-4]\cup\{4\}\cup[5,+\infty)\); б) \(\{-2\}\cup(1,8)\).