Ответ:

По теореме косинусов для угла B: \(AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos\angle ABC\).

Выразим косинус: \(\cos\angle ABC=\frac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}\).

Подставим длины: \(\cos\angle ABC=\frac{25+36-16}{2\cdot5\cdot6}=\frac{45}{60}=\frac{3}{4}\).

Ответ: \(\frac{3}{4}\).