«Токен» — что это вообще такое и при чем тут большие языковые модели

«Токен» - что это вообще такое и при чем тут большие языковые модели Про интересное

Слово «токен» в последнее время лезет отовсюду. Из нейросетей, из крипты, из корпоративной переписки, где кто-то вдруг «токенизирует процесс онбординга» — серьезно, слышал своими ушами. И везде оно означает разное. Но главная площадка, где токен сейчас рулит, — это, конечно, большие языковые модели. Те самые, которым вы пишете «напиши письмо начальнику, но вежливо».

Вот об этом и поговорим. С другими значениями тоже разберемся — без этого было бы нечестно, ведь слово одно, а смыслов несколько.

Откуда вообще взялось это слово — токен

По-английски token — это знак, символ, жетон, талон. Википедия так и пишет: от англ. token — «знак», «символ». То есть изначально это какая-то штука, которая что-то обозначает, но сама по себе не равноценна тому, что обозначает. Жетон в метро — не поездка, а право на нее. Ну, в метро сейчас карта, но вы поняли.

Исторически токен — это еще и жетон в форме монеты, заменитель денег, когда настоящей мелочи не хватало. То есть слово старое, почтенное, а не выдумка айтишников последнего десятилетия. Просто его переосмыслили под новые нужды.

Токены в нейросети — на пальцах

Теперь главное. Большая языковая модель, она же ИИ, она же LLM — ChatGPT, GigaChat, YandexGPT, Claude и другие, — читает текст не так, как вы. Она не видит слов. Она видит цифры. И чтобы превратить ваши буквы в цифры, текст сначала разбивают на фрагменты. Вот этот фрагмент — и есть токен. По-умному: токен — это дискретная единица текста, которую модель получает после токенизации.

Токенами могут быть целое слово, часть слова, знак препинания, отдельный символ и даже пробел. Это придумал не я — так пишут и на Хабре, и разработчики Сбера, и Яндекс. У каждого токена есть свой номер, свой id в словаре модели. Модель не понимает «слово» — она понимает «число 4271».

Кстати, о пробелах. Пробел — это тоже токен. Платный, если что. Каждый. Вот вам и повод задуматься, прежде чем ставить лишний отступ «для красоты» в промпте.

Пример, чтобы не быть голословным. Фразу «Какая погода в Москве?» YandexGPT Pro разбивает на пять токенов: «Какая», «погода», «в», «Москве», «?» — это прямо из документации Яндекса. Нормально, по слову на токен, плюс вопросительный знак отдельно. А теперь английское darkness — модель не распознает его как единое целое, она разбивает на dark и ness. brightness — bright и ness. А наше длинное слово «интернационализация» распадается на «интер», «наци», «онали», «зация». Четыре части на одно слово. И вот тут начинается самое интересное.

Как токенизируется слово
Как токенизируется слово. Взял на хабре

Почему русский язык — это боль

Тут такой момент. Токенизаторы, на которых обучали модели, по большей части делались под английский. Поэтому английское слово обычно укладывается в один-два токена, а наше — в кучу мелких. Цифры с Хабра, со ссылкой на данные Nvidia: 1000 токенов по-английски — это примерно 700–750 слов. По-русски — 350–400. То есть на тот же «бюджет» токенов вы можете сказать по-английски почти в два раза больше.

Тот же текст, тот же смысл — а токенов уходит больше. Больше токенов — больше денег. Больше денег — ну, вы поняли, к чему это. Когда вам кажется, что нейросеть «медленнее думает» на русском, она не думает медленнее. Она просто жует больше кусков.

Сколько стоит один токен — и почему это вообще важно

Ага, деньги. Внимание, здесь главная сюжетная линия. Запросы к платным моделям тарифицируются в токенах, а не в словах и не в символах. Формула простая: цена = (входные токены × цена входа) + (выходные токены × цена выхода). Платите и за то, что отправили, и за то, что вам вернули.

Цифры. На GPT-5.2 вход стоит 1,75 доллара за миллион токенов, выход — 14 долларов за миллион. На o1 pro вход — 150 долларов, выход — 600 долларов за тот же миллион. Чат примерно на 500 английских слов обойдется в 0,0055–0,0063 доллара на первой модели и в 0,26–0,30 доллара на второй — это все со ссылкой на Хабр. Один и тот же разговор, а цена скачет в десятки раз просто потому, что вы выбрали другую модель.

У нас тоже есть с чем считаться. YandexGPT 5.1 Pro после снижения цен берет 40 копеек за 1000 токенов. У GigaChat от Сбера потребление тоже считается в токенах, и там есть отдельный запрос /tokens/count — прикиньте расход до того, как он ударит по кошельку. Токен — это буквально копеечка. Но этих копеечек может быть тысяча на одно письмо. И вот тут «ну недорого» перестает работать.

Кто хочет сэкономить — есть пара трюков. Повторяющуюся «шапку» промпта можно закэшировать (prompt caching), и за входные токены вы заплатите меньше. А из промпта можно выкинуть все малозначимое — сжатие иногда дает ускорение в пару раз при количестве токенов меньше в четыре раза. Мелочь, а приятно.

Просто иллюстрация токена
Просто картинка с токеном 🙂

Контекстное окно, или почему нейросеть «забывает»

Еще одна штука, которая измеряется в токенах, — контекстное окно. Это то, сколько текста модель может «держать в голове» за один раз: ваш запрос, историю диалога, подсаженные документы — все вместе. У актуальной версии YandexGPT это 32 768 токенов — согласно документации Яндекса. У других моделей больше или меньше. Перешагнули лимит — и модель аккуратно, по-английски, «забывает» начало разговора. Вы еще пишете, а она уже не помнит, о чем шла речь абзацем выше.

Это не баг, это арифметика. Места в окне столько-то, и вопрос «помнит или нет» сводится к простому «влезло в окно или нет».

А токены нужны не только ИИ, да

Собственно, к обещанному. Токен — слово-оборотень. В нейросетях он один, а рядом живут еще несколько его родственников, и путать их не стоит.

Крипта

В блокчейне токен — это «единица учета, не являющаяся криптовалютой», предназначенная для представления цифрового баланса какого-либо актива. Грубо говоря, криптовалюта живет в собственном блокчейне, а токен — «в чужом», поверх чужой сети. Биткоин — это криптовалюта, а вот всякие «монеты на эфириуме» — чаще всего токены. Принцип «обозначает ценность, но сам ценностью не является» — точно такой же, как у жетона.

Безопасность и брелоки

Здесь токен — это штуковина для входа. Двухфакторная аутентификация, она же 2FA. Классика — RSA SecurID: технология, которая раз в 60 секунд генерирует новый код, и для входа вам нужен пароль плюс вот этот меняющийся код. Желтый брелок с цифрами, если увидите такой. Или приложение на телефоне с теми же прыгающими цифрами. Смысл тот же: токен — это не вы и не ваш пароль, это одноразовый «знак», что вы действительно вы.

Идентификационный токен на флешке
Идентификационный токен на флешке

Программирование

И наконец, самое старое значение из всех. В информатике токен — это фрагмент кода, который получается после лексического анализа. Компилятор берет ваш исходный код и разбивает его на лексемы: if, (, x, ==, 5, ). Каждая из них — это токен. Знакомая идея, да? Разбить сплошной текст на осмысленные фрагменты. Только здесь эти фрагменты нужны для того, чтобы программа понимала сама себя, а не для того, чтобы считать для вас.

И что со всем этим делать

Коротко: токен — это кусок. Кусок текста, кусок ценности, кусок доступа, кусок кода. Везде суть одна — «отделимое, что-то обозначающее». Просто в эпоху нейросетей этот кусок стал еще и вашей строкой в счете.

Так что в следующий раз, когда кто-то скажет «токен», — кивать можно уже осознанно. Хотя, если честно, иногда проще кивнуть и пройти мимо. Я проверял.

📢 Анонсы статей, обсуждения и просто поддержка автора

Еженедельная подборка статей на почту — бесплатно, без спама

Оцените статью
( 3 оценки, среднее 5 из 5 )
Поделиться с друзьями
Авторский проект Романа Гвоздикова
Добавить комментарий