Чтобы определить, каким членом предложения является слово, зададим к нему вопрос.
Зададим вопрос к слову невнимательно: слушал (как?) невнимательно.
Следовательно, слово невнимательно является обстоятельством образа действия.
Ответ: обстоятельство образа действия.