Ответ:

Разложим множители: \((x^2-3x-40)(1-x^2)=(x-8)(x+5)(1-x)(1+x)\). Критические точки: \(-5,-1,1,8\). Знак выражения на промежутках, начиная с правого края, чередуется; при \(x>8\) он отрицателен. Неравенство строгое, поэтому нули исключаем.

Ответ: \(x\in(-\infty;-5)\cup(-1;1)\cup(8;+\infty)\).