Здесь нужно поставить «хвостатый вопрос» (tag question). В первой части предложения используется 'used to', что подразумевает прошедшее время. Поэтому во второй части мы ставим вспомогательный глагол 'didn't' для отрицательного вопроса.
Ответ: didn't