Пусть радиус описанной окружности равен R.
По теореме синусов для треугольника ABK: $$\frac{AB}{\sin{\angle AKB}} = 2R_1$$, где $$R_1$$ радиус окружности, описанной около ABK
$$\frac{5}{\sin{60°}} = 2R_1 => R_1 = \frac{5}{2\sin{60°}} = \frac{5}{\sqrt{3}} = \frac{5\sqrt{3}}{3}$$
Аналогично, для треугольника CDK, $$\angle CKB = 180° - 60° = 120°$$
$$\frac{CD}{\sin{\angle CKB}} = 2R_2$$, где $$R_2$$ радиус окружности, описанной около CDK
$$\frac{17}{\sin{120°}} = 2R_2 => R_2 = \frac{17}{2\sin{120°}} = \frac{17}{\sqrt{3}} = \frac{17\sqrt{3}}{3}$$
Так как ABCD вписан в окружность, то можно использовать теорему Птолемея:
$$AB*CD + BC*AD = AC*BD$$
Недостаточно данных для однозначного решения задачи, требуется больше информации о четырехугольнике.