Ответ:

По теореме косинусов для стороны AC, лежащей напротив угла B:

\(AC^2 = AB^2 + BC^2 - 2\cdot AB\cdot BC\cdot\cos B\).

Отсюда \(\cos B = \frac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}\).

Подставим значения: \(\cos B = \frac{5^2+7^2-8^2}{2\cdot5\cdot7} = \frac{25+49-64}{70} = \frac{10}{70} = \frac17\).

Ответ: \(\cos\angle B=\frac17\).