'By that time' указывает на завершенное действие к определённому моменту в прошлом. Используется Past Perfect.
Ответ: had changed