What ... when your mother came back home?

Правильный ответ: "were you doing". В данном предложении используется время Past Continuous для описания продолжающегося действия в прошлом, которое происходило в момент прихода матери домой.