Ответ:

\(\sqrt{12}=2\sqrt3\), а \(\cos^2a=(1+\cos2a)/2\). Поэтому \(\cos^2(5\pi/12)=(1-\sqrt3/2)/2=(2-\sqrt3)/4\).

\(2\sqrt3\cdot\dfrac{2-\sqrt3}{4}-\sqrt3=\dfrac{2\sqrt3-3}{2}-\sqrt3=-\dfrac32\).

Ответ: \(-\dfrac32\).