Вопрос начинается с 'Was there', что соответствует единственному числу 'a big stadium'. Ответ 'there wasn't' также указывает на отсутствие стадиона, что корректно для единственного числа.