Ответ:

Рассматриваем произведение векторов как скалярное произведение. Сначала найдём \(\vec a\cdot\vec b=|\vec a||\vec b|\cos120^\circ=3\cdot8\cdot\left(-\frac12\right)=-12\).

Раскроем скалярное произведение:

\((2\vec b-3\vec a)\cdot(2\vec a-\vec b)=4(\vec a\cdot\vec b)-2|\vec b|^2-6|\vec a|^2+3(\vec a\cdot\vec b)\).

Подставим данные: \(7\cdot(-12)-2\cdot8^2-6\cdot3^2=-84-128-54=-266\).

Ответ: −266.