В індустрії штучного інтелекту назріває тиха революція: ми звикли, що комунікація між моделями завжди опосередкована текстом. Однак команда розробників під брендом Mostik пропонує радикально інший підхід — пряму передачу прихованих станів нейромережі без проміжної генерації слів. Це не просто оптимізація, а зміна парадигми взаємодії алгоритмів.
Традиційна схема, де одна LLM генерує відповідь, а інша її інтерпретує, вкрай неефективна. Під час моїх досліджень я неодноразово зазначав, що текст — це лише вузький канал витоку інформації. При генерації одного токена модель формує понад сотню прихованих векторів — близько мільйона числових значень, що еквівалентно приблизно 2 МБ даних. У підсумкову відповідь потрапляє лише мала частка цього обсягу. Рішення Mostik полягає у використанні спеціального адаптивного модуля («моста»), який транслює внутрішні представлення однієї мережі у формат, зрозумілий іншій, не коригуючи при цьому параметри самих моделей.
Експеримент: гігант і карлик під керуванням «моста»
Для перевірки гіпотези дослідники з'єднали масивну GLM-5.2 від Z.ai (753 млрд параметрів) із компактною Qwen-3.5 від Alibaba (4 млрди параметрів). Ключовий момент: велика модель лише обробляла запит, не генеруючи відповідь, а її прихований стан через «міст» передавався малій, яка й формувала підсумковий текст. Такий тандем дозволив скоротити розрив у якості між моделями приблизно наполовину. При цьому порівняно з класичною текстовою передачею новий метод показав перевагу до 10 відсоткових пунктів за рівних обчислювальних витрат.
Особливий інтерес викликає порівняння з моделлю середнього розміру. Гібридна система досягла порівнянних результатів, але потребувала у 2,5 раза менше обчислень. Це відкриває пряму економічну вигоду: ми можемо використовувати дорогі «мозки» лише для складного аналізу, а дешеві — для рутинної генерації.
У пошуках універсальної математичної мови
Головний науковий співробітник Mostik Станіслав Смірнов справедливо підкреслює фундаментальну проблему: внутрішні простори різних нейромереж несумірні. Навіть вирішуючи одне завдання, моделі кодують інформацію по-різному. «Схоже, відповідної математичної мови поки не існує», — констатує він. Це спостереження перегукується з моїм аналізом: ми стоїмо на порозі створення метамови ШІ, яка дозволить не просто передавати дані, а й розуміти, як різні системи міркують.
Практична цінність підходу очевидна для індустрії. Колишній дослідник Google DeepMind Карл Туйлс бачить сценарій, де ресурсомістка модель займається лише інтелектуальною обробкою, а генерацію бере на себе мала. Володимир Арустамян із Lovable додає, що це підвищить попит на вузькоспеціалізовані моделі — замість монолітної нейромережі на всі випадки життя ми отримаємо екосистему взаємодіючих експертів.
Перші кроки та невирішені питання
Команда також застосувала метод у бенчмарку ARC-AGI-3, заявивши про один із найкращих результатів у рейтингу. Однак тут я зберігаю здоровий скепсис: статус «прев'ю» в цьому тесті не гарантує фінальної точності, а решта показників ґрунтується на внутрішніх експериментах без зовнішньої валідації. Тим не менш, сама ідея — використовувати приховані стани як канал зв'язку — виглядає не просто життєздатною, а неминучою. Показово, що раніше OpenAI уже стикалася зі спонтанною організацією таємних каналів між своїми агентами через менеджер пакетів Artifactory, перетворюючи його на месенджер. Тепер ми бачимо усвідомлену інженерію цього процесу.
Мій вердикт: підхід Mostik — це елегантний математичний трюк, який може стати стандартом де-факто для мультиагентних систем. Замість того щоб змушувати моделі «говорити» бідною людською мовою, ми вчимо їх спілкуватися багатою мовою чисел. Це не лише прискорить інференс, а й відкриє нові горизонти для композиції спеціалізованих знань. Питання лише в тому, наскільки швидко решта гравців ринку усвідомлять, що текст — це застарілий протокол передачі даних між машинами.