Ответ:

а) Решение уравнения

  1. Используем тождества: \(\cos(-2x)=\cos 2x\), \(\sin(x-\pi)=-\sin x\), \(\sin\left(x-\frac\pi2\right)=-\cos x\). Поэтому
    \[\cos 2x+\frac{\sin x}{\sqrt2}=\cos^2x.\]
  2. Так как \(\cos^2x=\frac{1+\cos 2x}{2}\), получаем
    \[\cos 2x+\frac{\sin x}{\sqrt2}=\frac{1+\cos 2x}{2}.\]
  3. Умножим уравнение на 2 и перенесём всё в левую часть:
    \[\cos 2x+\sqrt2\sin x-1=0.\]
  4. Подставим \(\cos 2x=1-2\sin^2x\):
    \[1-2\sin^2x+\sqrt2\sin x-1=0,\]
    \[\sin x\left(\sqrt2-2\sin x\right)=0.\]
  5. Отсюда
    \[\sin x=0\quad\text{или}\quad \sin x=\frac{\sqrt2}{2}.\]
    Следовательно,
    \[x=\pi n,\quad n\in\mathbb Z,\]
    или
    \[x=\frac\pi4+2\pi n,\quad x=\frac{3\pi}4+2\pi n,\quad n\in\mathbb Z.\]

б) Отбор корней на отрезке \(\left[-\frac{11\pi}{2};-4\pi\right]\)

Из серии \(x=\pi n\) подходят \(x=-5\pi\) и \(x=-4\pi\). Из серии \(x=\frac{3\pi}{4}+2\pi n\) подходит \(x=-\frac{21\pi}{4}\). Других корней на данном отрезке нет.

Ответ: \(x=\pi n\), \(x=\frac\pi4+2\pi n\), \(x=\frac{3\pi}4+2\pi n\), \(n\in\mathbb Z\); на отрезке \(\left[-\frac{11\pi}{2};-4\pi\right]\): \(\boxed{-\frac{21\pi}{4},\,-5\pi,",-4\pi}\).