3. Стороны AB, BC и AC треугольника ABC равны соответственно 3, √6 и 2√5. Точка M расположена вне треугольника ABC, причём отрезок CM пересекает сторону AB в точке, отличной от B. Известно, что треугольник с вершинами M, A и C подобен исходному. Найдите косинус угла MAC, если угол MAC > 90°.

При подобии треугольников MAC и ABC в указанном порядке углу MAC соответствует угол ABC, поэтому \(\cos\angle MAC=\cos B\).

По теореме косинусов:

\(\cos B=\dfrac{AB^2+BC^2-AC^2}{2\cdot AB\cdot BC}=\dfrac{9+6-20}{2\cdot3\cdot\sqrt{6}}=-\dfrac{5}{6\sqrt{6}}=-\dfrac{5\sqrt{6}}{36}.\)

Косинус отрицателен, как и должно быть для угла, большего 90°.

Ответ: \(-\dfrac{5\sqrt{6}}{36}\).