5. \((x^2-3x)^2-2(x^2-3x)-8=0\)

Сделаем замену: пусть \(t=x^2-3x\). Тогда уравнение принимает вид:

\(t^2-2t-8=0\).

Разложим на множители: \((t-4)(t+2)=0\), поэтому \(t=4\) или \(t=-2\).

1) При \(t=4\): \(x^2-3x=4\), откуда \(x^2-3x-4=0\). Разложим: \((x-4)(x+1)=0\), значит, \(x=4\) или \(x=-1\).

2) При \(t=-2\): \(x^2-3x=-2\), откуда \(x^2-3x+2=0\). Разложим: \((x-1)(x-2)=0\), значит, \(x=1\) или \(x=2\).

Ответ: \(x\in\{-1,1,2,4\}\).