Здесь лучше поставить wasn't raining. Когда мы вышли из дома, не шел дождь (дождь прекратился или еще не начался). Это состояние в момент другого действия в прошлом.
Ответ: wasn't raining