Решение:
$$3 cos^2x - 5 sin^2x - sin 2x = 0$$
$$3 cos^2x - 5 sin^2x - 2 sin x cos x = 0$$
Разделим обе части на $$cos^2x$$ (если $$cos x = 0$$, то $$sin x = 0$$, что невозможно, так как $$sin^2x + cos^2x = 1$$):
$$3 - 5 tg^2x - 2 tg x = 0$$
$$5 tg^2x + 2 tg x - 3 = 0$$
Пусть $$t = tg x$$, тогда:
$$5t^2 + 2t - 3 = 0$$
$$D = 2^2 - 4 * 5 * (-3) = 4 + 60 = 64$$
$$t_1 = \frac{-2 + \sqrt{64}}{2 * 5} = \frac{-2 + 8}{10} = \frac{6}{10} = \frac{3}{5}$$
$$t_2 = \frac{-2 - \sqrt{64}}{2 * 5} = \frac{-2 - 8}{10} = \frac{-10}{10} = -1$$
Если $$tg x = \frac{3}{5}$$:
$$x = arctg(\frac{3}{5}) + \pi k, k \in \mathbb{Z}$$
Если $$tg x = -1$$:
$$x = arctg(-1) + \pi k, k \in \mathbb{Z}$$
$$x = -\frac{\pi}{4} + \pi k, k \in \mathbb{Z}$$
Ответ: $$x = arctg(\frac{3}{5}) + \pi k, k \in \mathbb{Z}$$; $$x = -\frac{\pi}{4} + \pi k, k \in \mathbb{Z}$$