Ответ:

По теореме косинусов для угла C:

\(AB^2=AC^2+BC^2-2\cdot AC\cdot BC\cdot\cos C\).

Выразим косинус: \(\cos C=\frac{AC^2+BC^2-AB^2}{2\cdot AC\cdot BC}\).

Подставим значения: \(\cos C=\frac{3^2+5^2-6^2}{2\cdot3\cdot5}=\frac{-2}{30}=-\frac{1}{15}\).

Ответ: \(\cos(\angle ACB)=-\frac{1}{15}\).