Ответ:

Выделим полные квадраты:

\(a^2-8ab+17b^2-2b+3=(a-4b)^2+b^2-2b+3=(a-4b)^2+(b-1)^2+2\).

Квадраты неотрицательны, а число 2 положительно. Поэтому вся сумма строго больше нуля при любых действительных \(a\) и \(b\).