Слово 'students' (студенты) — исчисляемое существительное. Для исчисляемых существительных используется 'a few' (немного, мало, но исчисляемое), а не 'a little' (немного, мало, но неисчисляемое).
Правильно будет:
There are a few students in the class.
Ответ: There are a few students in the class.