Ответ:

Обозначим ∠A = α, ∠B = β. По теореме синусов:

\(\dfrac{AB}{\sin C}=\dfrac{AC}{\sin B}\), поэтому \(\sin B=\dfrac{6\sqrt3\cdot\sin60^\circ}{5}=\dfrac{9}{5}\).

Но синус угла не может быть больше 1. Значит, треугольника с такими данными не существует, и его площадь определить нельзя.

Ответ: такого треугольника не существует.