Ответ:

Используем теорему косинусов для угла B:

\(AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos B\).

Выразим косинус:

\(\cos B=\dfrac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}\).

Подставим значения:

\(\cos B=\dfrac{3^2+10^2-11^2}{2\cdot3\cdot10}=\dfrac{9+100-121}{60}=\dfrac{-12}{60}=-\dfrac15\).

Ответ: \(\cos\angle ABC=-\dfrac15\).