Вопрос касается действия, которое происходило в определённый момент в прошлом (3 часа дня). Используется Past Continuous.
Ответ: A: What were you doing at 3pm yesterday? B: I was cleaning my house.