Ответ:

Правильный вариант — 2. Токен — это единица текста (например, слово, часть слова или символ), на которые текст разбивается для обработки моделью.