Объяснение:
В выражении We aren't sleeping наличие апострофа в aren't создает небольшую проблему. Стандартное токенизирование по пробелам даст токены: We, aren't, sleeping. Однако, для более точного анализа, часто требуется, чтобы n't было выделено как отдельный токен. Это потребует специального правила токенизации.
Степень сложности: 2 небольшие проблемы