Для выбора правильного местоимения необходимо определить его функцию в предложении. В данном случае местоимение является дополнением, отвечающим на вопрос "к кому?". Следовательно, требуется местоимение в объектном падеже.
Правильный вариант: us.
The teacher isn't speaking to us.
Ответ: The teacher isn't speaking to us.