6В. а) \(2\cos^2 3x-5\cos 3x-3=0\); б) \([\pi;\frac{3\pi}{2}]\).

Положим \(t=\cos 3x\). Тогда

\(2t^2-5t-3=0\),
\((2t+1)(t-3)=0\).

Получаем \(t=-\frac{1}{2}\) или \(t=3\). Значение \(3\) невозможно для косинуса, поэтому решаем \(\cos 3x=-\frac{1}{2}\).

Так как \(x\in[\pi;\frac{3\pi}{2}]\), то \(3x\in[3\pi;\frac{9\pi}{2}]\). В этом промежутке косинус равен \(-\frac{1}{2}\) при \(3x=\frac{10\pi}{3}\). Следовательно, \(x=\frac{10\pi}{9}\).

Ответ: \(x=\frac{10\pi}{9}\).