Ответ:

По теореме косинусов для угла при вершине B:

\(AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos\angle ABC\).

Выразим косинус:

\(\cos\angle ABC=\dfrac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}\).

Подставим длины сторон:

\(\cos\angle ABC=\dfrac{5^2+7^2-9^2}{2\cdot5\cdot7}=\dfrac{25+49-81}{70}=-\dfrac{1}{10}\).

Ответ: \(\cos\angle ABC=-\dfrac{1}{10}\).