Предложение 'Alex's sisters studied geometry very hard when she was at school' говорит о том, что именно изучали сестры. Чтобы спросить, что именно изучалось, используем вопросительное слово 'What' (Что). Глагол 'studied' стоит в Past Simple, поэтому нам понадобится вспомогательный глагол 'did'.
Ответ: What did Alex's sisters study very hard?