Ответ:

Раскрываем скалярное произведение и используем его линейность:

\((2\vec b-3\vec a)\cdot(2\vec a-\vec b)=4(\vec a\cdot\vec b)-2|\vec b|^2-6|\vec a|^2+3(\vec a\cdot\vec b)=7(\vec a\cdot\vec b)-2|\vec b|^2-6|\vec a|^2\).

\(\vec a\cdot\vec b=|\vec a||\vec b|\cos120^\circ=3\cdot8\cdot(-\frac12)=-12\).

Подставляем: \(7\cdot(-12)-2\cdot8^2-6\cdot3^2=-84-128-54=-266\).

Ответ: −266.