Ответ:

Наименьший угол лежит напротив наименьшей стороны, то есть стороны 5 см. По теореме косинусов:

\(\cos\alpha=\dfrac{6^2+8^2-5^2}{2\cdot6\cdot8}=\dfrac{36+64-25}{96}=\dfrac{75}{96}=\dfrac{25}{32}\).

Ответ: \(\dfrac{25}{32}\).