Решение:
$$cos^2x - 2 cos x - 3 = 0$$
Пусть $$t = cos x$$, тогда:
$$t^2 - 2t - 3 = 0$$
$$D = (-2)^2 - 4 * 1 * (-3) = 4 + 12 = 16$$
$$t_1 = \frac{2 + \sqrt{16}}{2 * 1} = \frac{2 + 4}{2} = \frac{6}{2} = 3$$
$$t_2 = \frac{2 - \sqrt{16}}{2 * 1} = \frac{2 - 4}{2} = \frac{-2}{2} = -1$$
Если $$cos x = 3$$ - нет решений, так как $$|cos x| \le 1$$
Если $$cos x = -1$$:
$$x = \arccos(-1) + 2\pi k, k \in \mathbb{Z}$$
$$x = \pi + 2\pi k, k \in \mathbb{Z}$$
Ответ: $$x = \pi + 2\pi k, k \in \mathbb{Z}$$