Визуальные токены

Пройдаков Э.М.

Источник: Shutterstock/BestForBest

В предыдущей статье были рассмотрены токены, с которыми работают большие языковые модели (LLM). Но речь в ней шла только о работе с текстами. Между тем LLM прекрасно работают и с изображениями, а мультимодальные системы, о которых я также вскользь упоминал, работают и с текстами, и с изображениями одновременно. Соответственно, для работы с изображениями необходимы так называемые визуальные токены. Давайте разберёмся, что это такое.

Изображение в цифровом виде состоит из точек, именуемых пикселями. Количество пикселей зависит от размера и разрешения изображения. Даже вполне обычное изображение – это миллионы пикселей. Каждый пиксель несёт также информацию о значениях цветовых компонент. Если для обработки изображения подавать все пиксели и их значения, то объём данных получается колоссальным. Поэтому для обработки изображение сначала разбивается на небольшие квадратные фрагменты — патчи, например 16 на 16 пикселей. Каждый такой фрагмент затем преобразуется в вектор — набор чисел, содержащий информацию о его визуальном содержимом. Эти векторы и можно назвать визуальными токенами.

Это совсем не то же самое, что текстовый токен, который, напомню, выбирается из заранее созданного словаря. Для изображения создать такой практически словарь невозможно – слишком много вариантов содержимого даже небольшого патча. При этом размер изображения влияет на количество визуальных токенов, и они, как и текстовые токены, занимают место в контекстном окне. Чтобы уменьшить число визуальных токенов, существуют различные технологии их сжатия. Понятно, что если на изображении много участков с одинаковым содержимым, например, фон, то хранить сотни одинаковых визуальных токенов нет никакого резона.

Затем полученные визуальные токены обрабатывает специальная часть модели — визуальный энкодер (vision encoder). Его задача — преобразовать визуальные токены в набор признаков изображения. На первых этапах сеть может обнаруживать относительно простые признаки, например линии, контуры, текстуры, формы. А затем из этих признаков на более глубоких уровнях выявляются лица, здания, автомобили и т. д.

Процесс этот не так прост. Сначала между визуальными токенами необходимо установить связи. Для этого используется механизм, называемый «вниманием» (attention), позволяющий каждому патчу учитывать информацию от других патчей. Благодаря этому модель получает представление не только об отдельных объектах, но и об их взаимном расположении и взаимодействиях. Внимание в LLM — это механизм, который позволяет учитывать контекст: у слов нет фиксированного значения вне контекста. Слово «замок» может быть бытовым предметом или строением. При этом модель при чтении каждого следующего слова должна посмотреть назад и понять, какие предыдущие токены сейчас важны. Далее модель может использовать механизм рассуждения (reasoning), то есть выполнять дополнительные шаги обработки, необходимые для решения сложной задачи и подготовки ответа. Рассуждающие модели – это сейчас передовой край разработок в нейросетевых моделях.

Рассуждающие языковые модели уже стали заметной частью экономики и начали использоваться в научной работе. Они умеют взаимодействовать с компьютерами и графическими интерфейсами, сотрудничать с людьми и другими ИИ, может помогать в исследовательском проекте, выполнять отдельные этапы исследования, работать с инструментами и т. д. Одновременно они создают новые риски, в том числе в сфере кибербезопасности.

3 сентября корпорация OpenAI объявила о выпуске новой флагманской модели GPT-6 Astra, сменившая GPT-5.6 Sol (контекстное окно ~1,05 млн токенов). По утверждению разработчиков, им удалось значительно продвинуться в области рассуждений, особенно при решении агентных и математических задач. Пишут, что Astra способна контролировать свои цепочки рассуждений – вплоть до соблюдения сложных формальных ограничений. Утверждается, что при осознании того, что за ней наблюдают, модель спонтанно сокращает длинные рассуждения и может скрывать их. Разумеется, это вызывает серьёзную озабоченность. 

При этом появился новый ключевой термин «рекурсивное самоулучшение», или RSI. Он предполагает ситуацию, в которой ИИ начинает играть всё большую роль в разработке и совершенствовании самого ИИ, что может существенно ускорить разработки. Такие эксперименты, судя по публикациям, начались ещё в прошлом году, но сейчас это направление, похоже, сформировалось.

Интересно, что бывший президент корпорации Microsoft Билл Гейтс недавно предложил ввести новый налог на использование ИИ, известный как «токенный налог», чтобы сделать замену человеческого труда более дорогой и предоставить финансовую помощь тем, кто потеряет работу. Идея обложения токенов налогом получила некоторую поддержку, в том числе на Уолл-стрит, как способ увеличить стоимость использования ИИ вместо человеческого труда, но до реализации идеи Гейтса дело вряд ли дойдёт.

Об авторе: Директор Виртуального компьютерного музея
статья публиковалась в журнале IT News 24.09.2026
Помещена в музей с разрешения автора 4 октября 2026