Токенизация

Что это

Токенизация — это преобразование данных в набор токенов: дискретных единиц, которые заменяют исходную информацию или разбивают её на части для дальнейшей обработки. Термин используется в трёх совершенно разных областях — обработке естественного языка (NLP), платёжных системах и блокчейне, — и в каждой из них означает немного разное. Общая идея одна: взять что-то сложное или чувствительное и представить в виде управляемых, структурированных единиц.

Зачем это нужно

В NLP токенизация — первый шаг любого языкового пайплайна: без разбиения текста на токены модель не может его «прочитать». В платёжных системах токенизация защищает данные карт: вместо реального номера карты передаётся случайный токен, который бесполезен при перехвате. В блокчейне токенизация позволяет перевести реальные активы — недвижимость, акции, предметы искусства — в цифровые токены и торговать ими дробными долями. Во всех случаях цель одна: упростить работу с данными и снизить риски.

Как это работает

Механизм зависит от контекста. В NLP текст разбивается на токены по правилам: это могут быть слова, подслова (BPE — Byte Pair Encoding, используется в GPT) или отдельные символы. Например, слово «непостижимый» BPE-токенизатор может разбить на «не», «пости», «жимый». В платёжных системах (стандарт EMV, Apple Pay, Google Pay) реальный PAN-номер карты заменяется на случайную строку — токен, — которая хранится на устройстве и действует только в конкретном контексте. В блокчейне смарт-контракт фиксирует права на актив и выпускает токены (ERC-20, ERC-721), которые можно передавать и продавать без участия посредников.

Примеры

• GPT-4 использует токенизатор tiktoken: один токен — примерно 4 символа английского текста или 1–2 символа русского. Контекстное окно в 128 000 токенов — это около 300 страниц текста.
• Apple Pay при добавлении карты Visa заменяет её реальный номер токеном DPAN (Device Primary Account Number). Банк знает соответствие, но мерчант — никогда.
• Платформа RealT (США) токенизировала сотни объектов недвижимости: инвестор может купить долю дома за 50 долларов в виде ERC-20 токена и получать арендный доход пропорционально доле.
• Hugging Face Tokenizers — библиотека, которая реализует WordPiece, BPE и Unigram токенизацию для обучения языковых моделей. Используется в BERT, RoBERTa, T5.
• Сбербанк и ВТБ поддерживают токенизацию карт через Mir Pay — российский аналог механизма, где токен привязан к конкретному устройству и не раскрывает данные карты торговой точке.

Связанные понятия

• Эмбеддинг (embedding) — следующий шаг после токенизации в NLP: токены превращаются в числовые векторы.
• BPE (Byte Pair Encoding) — алгоритм субсловной токенизации, используемый в GPT и других трансформерах.
• Смарт-контракт — программа на блокчейне, которая управляет выпуском и передачей токенов.
• PAN (Primary Account Number) — реальный номер банковской карты, который токенизация скрывает.
• NFT (Non-Fungible Token) — невзаимозаменяемый токен, частный случай токенизации уникальных активов.
• Шифрование — смежный метод защиты данных, но в отличие от токенизации исходные данные можно восстановить ключом.

Частые заблуждения

Токенизацию часто путают с шифрованием — это разные вещи. Шифрование обратимо при наличии ключа и защищает данные математически. Токенизация в платёжных системах заменяет данные суррогатом без математической связи с оригиналом: восстановить номер карты из токена невозможно без обращения к защищённому хранилищу. Ещё одно заблуждение: в контексте блокчейна токенизация актива не означает автоматически его юридическую защиту — токен подтверждает запись в реестре, но правовой статус зависит от юрисдикции и договора.