Ответ:
По теореме косинусов для угла B: \(AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos\angle ABC\).
Выразим косинус: \(\cos\angle ABC=\frac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}\).
Подставим длины: \(\cos\angle ABC=\frac{25+36-16}{2\cdot5\cdot6}=\frac{45}{60}=\frac{3}{4}\).
Ответ: \(\frac{3}{4}\).
