Ответ:

Найдём квадраты длин сторон:

\(AB^2=(3+5)^2+(-1-7)^2=8^2+(-8)^2=128\).

\(BC^2=(-1-3)^2+(-9+1)^2=(-4)^2+(-8)^2=80\).

\(AC^2=(-1+5)^2+(-9-7)^2=4^2+(-16)^2=272\).

Наименьшая сторона — \(BC\), поэтому наименьший угол лежит напротив неё: это угол \(A\).

\(\overrightarrow{AB}=(8;-8)\), \(\overrightarrow{AC}=(4;-16)\). Тогда \(\overrightarrow{AB}\cdot\overrightarrow{AC}=8\cdot4+(-8)\cdot(-16)=160\), \(|AB|=8\sqrt2\), \(|AC|=4\sqrt{17}\).

\(\cos A=\dfrac{160}{(8\sqrt2)(4\sqrt{17})}=\dfrac{5}{\sqrt{34}}\).

Ответ: \(\dfrac{5}{\sqrt{34}}\).