Пусть вектор $$\vec{a} = (5; 2)$$, вектор $$\vec{b} = (3; -6)$$.
Найдем вектор $$\vec{a} - \vec{b} = (5-3; 2-(-6)) = (2; 8)$$.
Найдем вектор $$5\vec{a} - \vec{b} = (5 \cdot 5 - 3; 5 \cdot 2 - (-6)) = (25 - 3; 10 + 6) = (22; 16)$$.
Скалярное произведение векторов равно сумме произведений соответствующих координат:
$$(\vec{a} - \vec{b}) \cdot (5\vec{a} - \vec{b}) = 2 \cdot 22 + 8 \cdot 16 = 44 + 128 = 172$$
Ответ: 172