Ответ:

Сначала проверим, могут ли заданные длины быть сторонами треугольника. Для существования треугольника сумма любых двух сторон должна быть больше третьей:

\(AB+BC=5+6=11<14=AC\).

Неравенство треугольника нарушено, поэтому треугольника с такими сторонами не существует. Следовательно, \(\cos\angle ABC\) определить нельзя; вероятно, в условии опечатка в одной из длин.