Термин
Токен
Кусочек текста, которым нейросеть измеряет объём работы, — примерно 2–3 символа русского текста.
Нейросети читают текст не буквами и не словами, а токенами — короткими кусочками. В русском языке один токен — это примерно два-три символа, то есть слово обычно занимает два-четыре токена.
Токены важны, потому что в них считают деньги и лимиты: тарифы API считают стоимость за тысячу токенов, а у чата есть предел, сколько токенов он держит в памяти одного разговора.
Практический вывод: длинные приложенные файлы и бесконечная переписка в одном чате расходуют лимиты быстрее, чем короткие точные запросы.
Пример
Страница обычного текста (около 1800 знаков) — это примерно 700–900 токенов. Договор на 20 страниц — около 15 тысяч.
Частое заблуждение
Считать, что токен равен слову. В русском языке слов получается заметно меньше, чем токенов.