$$\vec{a} = \vec{n} + 2\vec{m}$$ $$\vec{b} = 3\vec{n} - \vec{m}$$ $$\vec{a} \cdot \vec{b} = (\vec{n} + 2\vec{m}) \cdot (3\vec{n} - \vec{m}) = 3\vec{n}^2 - \vec{n}\vec{m} + 6\vec{n}\vec{m} - 2\vec{m}^2$$
Так как $$\vec{m} \perp \vec{n}$$, то $$\vec{n}\vec{m} = 0$$
$$\vec{a} \cdot \vec{b} = 3\vec{n}^2 - 2\vec{m}^2 = 3 \cdot 1^2 - 2 \cdot 1^2 = 3 - 2 = 1$$
$$ |\vec{a}| = |\vec{n} + 2\vec{m}| = \sqrt{(\vec{n} + 2\vec{m})^2} = \sqrt{\vec{n}^2 + 4\vec{n}\vec{m} + 4\vec{m}^2} = \sqrt{1 + 0 + 4} = \sqrt{5} $$ $$ |\vec{b}| = |3\vec{n} - \vec{m}| = \sqrt{(3\vec{n} - \vec{m})^2} = \sqrt{9\vec{n}^2 - 6\vec{n}\vec{m} + \vec{m}^2} = \sqrt{9 + 0 + 1} = \sqrt{10} $$
$$\cos(\alpha) = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}| \cdot |\vec{b}|} = \frac{1}{\sqrt{5} \cdot \sqrt{10}} = \frac{1}{\sqrt{50}} = \frac{1}{5\sqrt{2}}$$