Для решения задачи необходимо знать формулу скалярного произведения векторов и уметь выполнять операции с векторами.
Пусть даны векторы $$ \vec{a} = (x_1; y_1) $$ и $$ \vec{b} = (x_2; y_2) $$, тогда скалярное произведение векторов $$ \vec{a} \cdot \vec{b} = x_1x_2 + y_1y_2 $$.
Векторы заданы: $$ \vec{a} = (5; 2) $$, $$ \vec{b} = (3; -6) $$.
Найдем вектор $$ \vec{a} - \vec{b} $$:
$$ \vec{a} - \vec{b} = (5 - 3; 2 - (-6)) = (2; 8) $$
Найдем вектор $$ 5\vec{a} - \vec{b} $$:
$$ 5\vec{a} = (5 \cdot 5; 5 \cdot 2) = (25; 10) $$
$$ 5\vec{a} - \vec{b} = (25 - 3; 10 - (-6)) = (22; 16) $$
Найдем скалярное произведение векторов $$ (\vec{a} - \vec{b}) \cdot (5\vec{a} - \vec{b}) $$:
$$ (\vec{a} - \vec{b}) \cdot (5\vec{a} - \vec{b}) = 2 \cdot 22 + 8 \cdot 16 = 44 + 128 = 172 $$
Ответ: 172