Ответ:

Расположим A в начале координат, а AC — на горизонтальной оси. Тогда M=(4; 0), N=(15; 0). Центр окружности O находится на серединном перпендикуляре к MN, поэтому его координаты имеют вид O=(19/2; y).

Из cos∠BAC = √15/4 следует sin∠BAC = 1/4. Единичный вектор вдоль луча AB имеет координаты (√15/4; 1/4). Радиус равен и расстоянию от O до M, и расстоянию от O до прямой AB. Поэтому:

\((19/2-4)^2+y^2=((19/2)\cdot 1/4-y\cdot\sqrt{15}/4)^2\).

После умножения на 16 и упрощения получаем \(y^2+19\sqrt{15}\,y+123/4=0\), откуда \(y=(-19\sqrt{15}\pm42\sqrt{3})/2\).

Для касания именно луча AB точка касания должна находиться на луче. Параметр проекции центра на направление луча равен \(((19/2)\sqrt{15}+y)/4\). Он положителен только при \(y=(-19\sqrt{15}+42\sqrt{3})/2\); второй корень соответствует касанию продолжения прямой за вершиной A.

Тогда радиус, равный OM, составляет \(r=\sqrt{(11/2)^2+y^2}=\sqrt{(11/2)^2+((-19\sqrt{15}+42\sqrt{3})/2)^2}\approx5.52\).

Ответ: \(\sqrt{(11/2)^2+((-19\sqrt{15}+42\sqrt{3})/2)^2}\approx5.52\).