Ответ:

Разложим множители: \((x^2-3x-40)(1-x^2)=(x-8)(x+5)(1-x)(1+x)\). Нули: \(-5,-1,1,8\). Все корни простые, поэтому знак меняется при переходе через каждый корень; при \(x>8\) выражение отрицательно.

Следовательно, выражение отрицательно на промежутках \((-\infty,-5)\), \((-1,1)\) и \((8,+\infty)\). Корни не включаем, поскольку неравенство строгое.

Ответ: \(x\in(-\infty,-5)\cup(-1,1)\cup(8,+\infty)\).