Ответ:

Обозначим CE = x. Так как треугольник ACE прямоугольный, то

\(AE = \sqrt{x^2+3^2}=\sqrt{x^2+9}\).

Угол между лучами EA и EB равен 120°, поэтому угол между лучом EA и положительным направлением оси CB имеет косинус \(-\frac12\):

\(\frac{-x}{\sqrt{x^2+9}}=-\frac12\).

Отсюда:

\(\frac{x}{\sqrt{x^2+9}}=\frac12\),
\(4x^2=x^2+9\),
\(3x^2=9\),
\(x=\sqrt3\).

Тогда \(CB=CE+EB=\sqrt3+3\). По теореме Пифагора в треугольнике ACB:

\(AB^2=AC^2+CB^2\),
\(AB^2=3^2+(3+\sqrt3)^2\),
\(AB^2=9+12+6\sqrt3=21+6\sqrt3\).

Ответ: \(AB^2=21+6\sqrt3\).