Правильный вариант: was not able. Глагол to be в прошедшем времени с подлежащим he имеет форму was, отрицание образуется с помощью not.
Полный фрагмент: One evening he was not able to invent an end for a story.
Перевод: Однажды вечером он не смог придумать конец рассказа.
Ответ: was not able