Ответ:

Большему углу противолежит наибольшая сторона — 11 см.

По теореме косинусов:

\[\cos\alpha=\frac{5^2+8^2-11^2}{2\cdot5\cdot8}.\]

\[\cos\alpha=\frac{25+64-121}{80}=\frac{-32}{80}=-0.4.\]

Ответ: \(\cos\alpha=-0.4\).