QAQAСЛОВАРЬ / Основы ИИ
Токен
Единица, на которые конкретная модель разбивает текст: часть слова, слово, знак или последовательность символов.
Также: токены, токенов, токенами
Как это выглядит на практике
Строки «книга» и «книгами» могут распадаться по-разному. Поэтому число слов в файле не равно его длине в токенах.
Что проверить
Не путайте единицы текста модели с монетами сервиса. Точный размер запроса измеряют токенизатором выбранной модели.
Попробуйте на примере
У меня лимит на длину контекста. Сожми текст «Сбор у входа в 9:15. Нужны паспорт и билет. После 9:30 вход закрыт» без потери времени, места и документов.
Вставьте пример в чат и сравните результат со своим вариантом.
Рядом в словаре
Дальше по теме: Google · Machine Learning Glossary