Ответ:

а) Перенесём выражения в одну сторону и применим разность квадратов:

\((x^2-2x-3)^2-(x^2-3x)^2\le0\).

Разложим на множители:

\((x-3)(2x^2-5x-3)\le0\), то есть \((x-3)^2(2x+1)\le0\).

Так как квадрат неотрицателен, произведение неположительно при \(x\le-\frac12\), а также равно нулю при \(x=3\).

б) Разложим числитель и знаменатель на множители:

\(\frac{2x^3-x^4+3x^2}{x^2+x-6}=\frac{-x^2(x-3)(x+1)}{(x+3)(x-2)}\).

Критические точки: \(-3,-1,0,2,3\). Точки \(-3\) и \(2\) исключаются из области определения; \(-1,0,3\) обращают числитель в ноль, но не входят в решение из-за строгого знака.

Методом интервалов получаем положительные значения на \((-1;0)\), \((0;2)\) и \((3;+\infty)\).

Ответ: а) \((-infty;-\frac12]\cup\{3\}\); б) \((-1;0)\cup(0;2)\cup(3;+\infty)\).