Задание 10/11. Токен — это: 1) готовый ответ, сохранённый в памяти модели; 2) часть текста, для которой известны координаты в многомерном пространстве смыслов; 3) числовая оценка правильности ответа; 4) ссылка на интернет-источник.

Токен — это единица текста, на которые языковая модель разбивает входной текст и генерирует ответ. Токеном может быть слово, часть слова, знак препинания или другой фрагмент. В языковых моделях токены обычно представляются числовыми идентификаторами, а их значения обрабатываются моделью в виде векторов.

Из предложенных вариантов ближе всего 2) часть текста, для которой известны координаты в многомерном пространстве смыслов, хотя это упрощённая формулировка: токен сам по себе не является координатой или готовым смысловым вектором.

Ответ: 2-й вариант.