1. Преобразуем выражение под корнем:
$$\sqrt{12 \cos^2 \frac{5\pi}{12} - \sqrt{3}} = \sqrt{12 \cos^2 \frac{5\pi}{12} - \sqrt{3}}$$
2. Выразим $\cos^2 \frac{5\pi}{12}$ через формулу понижения степени:
$$\cos^2 x = \frac{1 + \cos 2x}{2}$$
$$\cos^2 \frac{5\pi}{12} = \frac{1 + \cos \frac{5\pi}{6}}{2} = \frac{1 + \left(-\frac{\sqrt{3}}{2}\right)}{2} = \frac{1 - \frac{\sqrt{3}}{2}}{2} = \frac{2 - \sqrt{3}}{4}$$
3. Подставим значение в исходное выражение:
$$\sqrt{12 \cdot \frac{2 - \sqrt{3}}{4} - \sqrt{3}} = \sqrt{3(2 - \sqrt{3}) - \sqrt{3}} = \sqrt{6 - 3\sqrt{3} - \sqrt{3}} = \sqrt{6 - 4\sqrt{3}}$$
4. Представим выражение под корнем как полный квадрат. Заметим, что $6 - 4\sqrt{3} = (a - b)^2 = a^2 - 2ab + b^2$. Предположим, что $a^2 + b^2 = 6$ и $2ab = 4\sqrt{3}$, тогда $ab = 2\sqrt{3}$. Пусть $a = \sqrt{x}$ и $b = \sqrt{y}$, тогда $xy = 12$ и $x + y = 6$. Решая эту систему, получаем $x = 2(3 - \sqrt{3})$ и $y = 2(3 + \sqrt{3})$. Тогда
$$\sqrt{6-4\sqrt{3}} = \sqrt{(2-\sqrt{3})^2} = |2 - \sqrt{3}|$$
Так как $2 = \sqrt{4} > \sqrt{3}$, то $|2-\sqrt{3}| = 2 - \sqrt{3}$.
Ответ: $2-\sqrt{3}$