Сначала найдем вектор 2b:
$$ 2b = 2 \cdot \{5; -1; 2\} = \{10; -2; 4\} $$
Теперь найдем вектор a - 2b:
$$ a - 2b = \{5; -1; 2\} - \{10; -2; 4\} = \{5 - 10; -1 - (-2); 2 - 4\} = \{-5; 1; -2\} $$
Найдем длину (модуль) вектора a - 2b:
$$ |a - 2b| = \sqrt{(-5)^2 + 1^2 + (-2)^2} = \sqrt{25 + 1 + 4} = \sqrt{30} $$
Ответ: √30