Ответ:

Токен — это единица текста, представленная в модели как элемент числового пространства. Это может быть слово, часть слова или символ.

Ответ: часть текста, для которой известны координаты в многомерном пространстве смыслов.