Термин

Токен

Кусочек текста, которым нейросеть измеряет объём работы, — примерно 2–3 символа русского текста.

Нейросети читают текст не буквами и не словами, а токенами — короткими кусочками. В русском языке один токен — это примерно два-три символа, то есть слово обычно занимает два-четыре токена.

Токены важны, потому что в них считают деньги и лимиты: тарифы API считают стоимость за миллион токенов, а у чата есть предел, сколько токенов он держит в памяти одного разговора.

Практический вывод: длинные приложенные файлы и бесконечная переписка в одном чате расходуют лимиты быстрее, чем короткие точные запросы.

Пример

Страница обычного текста (около 1800 знаков) — это примерно 700–900 токенов. Договор на 20 страниц — около 15 тысяч.

Частое заблуждение

Считать, что токен равен слову. В русском языке слов получается заметно меньше, чем токенов.

Где вы встретите это слово

С чем путают

Главная путаница как раз с этой внутренней валютой. Когда сервис пишет «50 бесплатных токенов в день», это его условные баллы: одна картинка может стоить десять таких «токенов», а текстовый ответ один. Настоящий токен модели мельче и считается автоматически по длине текста. Сравнивать тарифы двух агрегаторов по числу «токенов» бессмысленно, пока не ясно, сколько стоит одна ваша задача.

Как это влияет на цену и качество

В подписке токены не видны, но работают в фоне: лимит сообщений кончается быстрее, если каждый раз прикладывать длинные файлы. В API всё прямо: заплатили ровно за прочитанное и написанное. На качество влияет не цена токенов, а их нехватка: если документ не влез в окно, модель отвечает по той части, что поместилась.

Что делать на практике

Потренироваться руками: Урок 3. Стоит ли платить за подписку. Как посчитать, хватает ли бесплатного тарифа, на своих задачах.

Почитать на портале

Весь словарь — 11 терминов →