Ответ:
Раскрываем скалярное произведение и используем его линейность:
\((2\vec b-3\vec a)\cdot(2\vec a-\vec b)=4(\vec a\cdot\vec b)-2|\vec b|^2-6|\vec a|^2+3(\vec a\cdot\vec b)=7(\vec a\cdot\vec b)-2|\vec b|^2-6|\vec a|^2\).
\(\vec a\cdot\vec b=|\vec a||\vec b|\cos120^\circ=3\cdot8\cdot(-\frac12)=-12\).
Подставляем: \(7\cdot(-12)-2\cdot8^2-6\cdot3^2=-84-128-54=-266\).
Ответ: −266.
