1. Определим, какую грамматическую форму глагола study необходимо использовать.
2. По условию задания, необходимо использовать Past Continuous для выражения действия, происходившего в определенный момент в прошлом.
3. Для местоимения they требуется форма were.
4. Образуем Past Continuous для глагола study: were studying.
5. Вставим полученную форму в предложение: They were studying when I saw them in the library.
Ответ: They were studying when I saw them in the library.