Ответ:

Правильный вариант — «часть текста, для которой известны координаты в многомерном пространстве смыслов». Точнее, токен — это фрагмент текста, который модель обрабатывает как отдельную единицу; при работе с моделью токенам могут соответствовать числовые представления.

Ответ: второй вариант.