Ответ:

По теореме косинусов:

\[AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos B.\]

Подставим значения:

\[AC^2=5^2+(\sqrt6)^2-2\cdot5\cdot\sqrt6\cdot\cos60^\circ.\]

Так как \(\cos60^\circ=\frac12\), получаем:

\[AC^2=25+6-2\cdot5\cdot\sqrt6\cdot\frac12=31-5\sqrt6.\]

Следовательно,

\[AC=\sqrt{31-5\sqrt6}.\]

Ответ: \(AC=\sqrt{31-5\sqrt6}\).