Ответ:

Применим теорему косинусов к углу B: против него лежит сторона AC.

\(AC^2 = AB^2 + BC^2 - 2\cdot AB\cdot BC\cdot\cos\angle ABC\), поэтому

\(\cos\angle ABC = \dfrac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC} = \dfrac{5^2+10^2-11^2}{2\cdot5\cdot10} = \dfrac{4}{100} = \dfrac{1}{25}.\)

Ответ: \(\cos\angle ABC=\dfrac{1}{25}\).