5В. а) \(3\sin^2 2x+10\sin 2x+3=0\); б) \([0;\pi]\).

Положим \(t=\sin 2x\). Разложим квадратный трёхчлен:

\(3t^2+10t+3=0\),
\((3t+1)(t+3)=0\).

Получаем \(t=-\frac{1}{3}\) или \(t=-3\). Второе значение невозможно, поскольку синус лежит между \(-1\) и \(1\). Значит, \(\sin 2x=-\frac{1}{3}\).

На отрезке \([0;\pi]\) имеем \(2x\in[0;2\pi]\). Пусть \(\alpha=\arcsin\frac{1}{3}\). Тогда \(2x=\pi+\alpha\) или \(2x=2\pi-\alpha\).

Ответ: \(x=\frac{\pi}{2}+\frac{1}{2}\arcsin\frac{1}{3};\ \pi-\frac{1}{2}\arcsin\frac{1}{3}\).