Ответ:
Обозначим через \(d=AB\) расстояние между точками, а через \(I\) — середину отрезка \(AB\).
а) Пусть \(B'\) — точка, симметричная \(B\) относительно \(A\). Выберем начало координат в \(A\), а вектор \(\overrightarrow{AB}\) обозначим \(\mathbf b\), так что \(|\mathbf b|=d\). Для \(\overrightarrow{AM}=\mathbf m\) условие принимает вид \(2|\mathbf m|^2-|\mathbf m-\mathbf b|^2=2d^2\). Раскрываем квадрат: \(|\mathbf m+\mathbf b|^2=4d^2\). Поскольку \(\overrightarrow{AB'}=-\mathbf b\), это равносильно \(MB'=2AB\).
Значит, искомое множество — окружность с центром в точке \(B'\) и радиусом \(2AB\).
б) Для середины \(I\) отрезка \(AB\) выполняется тождество \(AM^2+BM^2=2MI^2+\frac12AB^2\). Подставляем в условие:
\(2\left(2MI^2+\frac12AB^2\right)=6AB^2\), откуда \(MI^2=\frac54AB^2\). Следовательно, \(MI=\frac{\sqrt5}{2}AB\).
Искомое множество — окружность с центром в середине \(AB\) и радиусом \(\frac{\sqrt5}{2}AB\).
Ответ: а) окружность с центром в точке, симметричной \(B\) относительно \(A\), радиуса \(2AB\); б) окружность с центром в середине \(AB\), радиуса \(\frac{\sqrt5}{2}AB\).
