Ответ:

Обозначим \(AB=x\). По теореме косинусов для стороны \(AC\):

\[AC^2=AB^2+BC^2-2\cdot AB\cdot BC\cdot\cos B\]

Подставим данные:

\[\left(5\sqrt3\right)^2=x^2+6^2-2\cdot x\cdot6\cdot\cos60^\circ\]

\[75=x^2+36-6x\]

\[x^2-6x-39=0\]

Решаем квадратное уравнение:

\[x=\frac{6\pm\sqrt{36+156}}{2}=\frac{6\pm\sqrt{192}}{2}=3\pm4\sqrt3\]

Длина стороны положительна, поэтому \(x=3-4\sqrt3<0\) не подходит.

\[AB=3+4\sqrt3\]

Ответ: \(AB=3+4\sqrt3\).