5) \(\cos^2\alpha-\cos2\alpha\)

Подставим формулу \(\cos2\alpha=2\cos^2\alpha-1\):

\(\cos^2\alpha-\cos2\alpha=\cos^2\alpha-(2\cos^2\alpha-1)=1-\cos^2\alpha=\sin^2\alpha\).

Ответ: \(\sin^2\alpha\).