Вчера в шесть часов мы слушали очень интересную лекцию.
Здесь нужно использовать Past Continuous, так как речь идёт о действии, которое происходило в определённый момент в прошлом.
Ответ: At six o'clock yesterday we were listening to a very interesting lecture.