Ответ:

Искомый угол заключён между сторонами 5 и 3, а противоположная ему сторона равна 6.

По теореме косинусов:

\(6^2=5^2+3^2-2\cdot5\cdot3\cos\alpha\).

Выразим косинус:

\(\cos\alpha=\frac{5^2+3^2-6^2}{2\cdot5\cdot3}=\frac{25+9-36}{30}=\frac{-2}{30}=-\frac{1}{15}\).

Ответ: \(\cos\alpha=-\frac{1}{15}\).