5. б) \(\dfrac{a^2-6a-8}{a^2-9}\)

Разложим знаменатель на множители по формуле разности квадратов: \(a^2-9=(a-3)(a+3)\).

Числитель не имеет общих множителей со знаменателем: при \(a=3\) он равен \(-17\), а при \(a=-3\) — \(19\). Поэтому сокращение невозможно.

Область допустимых значений: \(a\ne3\), \(a\ne-3\).

Ответ: \(\dfrac{a^2-6a-8}{(a-3)(a+3)}\), при \(a\ne\pm3\).