Ответ:

По теореме косинусов для угла \(B\):

\[AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos\angle ABC.\]

Выразим косинус:

\[\cos\angle ABC=\frac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}.\]

Подставим значения:

\[\cos\angle ABC=\frac{5^2+10^2-11^2}{2\cdot5\cdot10}=\frac{25+100-121}{100}=\frac{4}{100}=\frac{1}{25}.\]

Ответ: \(\frac{1}{25}\).