Ответ:

По теореме косинусов для угла B:

\(AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos\angle ABC\).

Выразим косинус и подставим данные:

\(\cos\angle ABC=\frac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}=\frac{25+49-81}{2\cdot5\cdot7}=-\frac{7}{70}=-\frac{1}{10}\).

Ответ: \(\cos\angle ABC=-\frac{1}{10}\).