Ответ:

Наибольший угол лежит напротив наибольшей стороны, то есть стороны 8 см.

По теореме косинусов:

\(\cos\alpha=\dfrac{5^2+6^2-8^2}{2\cdot5\cdot6}=\dfrac{25+36-64}{60}=-\dfrac{3}{60}=-\dfrac{1}{20}\).

Ответ: \(\cos\alpha=-\dfrac{1}{20}\).