Класична парадигма взаємодії нейромереж, за якої моделі спілкуються виключно через згенерований текст, відходить у минуле. Мої колеги з дослідницької команди Mostik запропонували радикально інший підхід: вони навчилися передавати між ІІ-системами не слова, а їхні внутрішні стани — ту саму «сиру» інформацію, яка формується в глибині нейронних мереж до моменту вербалізації відповіді.
Суть методу полягає у використанні спеціального адаптованого модуля, який я б назвав транслятором прихованих представлень. Цей «міст» перетворює внутрішні вектори однієї моделі у формат, зрозумілий іншій, при цьому параметри самих нейромереж залишаються незмінними і не піддаються тонкому налаштуванню. Це принципова відмінність від поширених технік дистиляції або спільного навчання.
Цифровий розрив: чому слова — це вузьке горлечко
Мої розрахунки підтверджують: перш ніж згенерувати єдиний токен, велика мовна модель (LLM) формує понад сотню прихованих векторів, що еквівалентно приблизно мільйону числових значень або близько 2 МБ даних. У текстову відповідь потрапляє лише мізерна частка цього інформаційного багатства. Новий канал зв’язку спрямований саме на передачу цих проміжних представлень, що відкриває доступ до значно щільнішого та семантично насиченішого потоку даних.
Експеримент: гігант думає, карлик говорить
Для верифікації гіпотези команда провела показовий експеримент, з’єднавши дві крайнощі: потужну модель GLM-5.2 від Z.ai з 753 мільярдами параметрів і компактну Qwen-3.5 від Alibaba з 4 мільярдами. Велика модель виступала виключно в ролі «аналітика», обробляючи запит, але не продукуючи відповідь. Її внутрішній стан через «міст» передавався малій моделі, яка й формулювала підсумковий текст.
Результати вражають: така зв’язка дозволила скоротити розрив у якості між малою та великою моделями приблизно наполовину. При порівнянні з традиційною текстовою передачею новий метод показав перевагу до 10 відсоткових пунктів за ідентичного обсягу обчислень. Більше того, гібридна система, демонструючи результати, зіставні з моделлю середнього розміру, потребувала приблизно в 2,5 раза менше обчислювальних ресурсів.
У пошуках спільної математичної мови
Головний науковий співробітник Mostik Станіслав Смірнов справедливо зазначає фундаментальну проблему: внутрішні представлення різних нейромереж не піддаються прямому зіставленню. Навіть вирішуючи ідентичну задачу, дві моделі можуть кодувати інформацію у своїх прихованих станах абсолютно по-різному. «Схоже, відповідної математичної мови поки що не існує», — підкреслює він. І це ключовий виклик: вивчення таких відповідностей — не просто інженерне завдання, а шлях до розуміння того, як різні ІІ-системи сприймають світ і ухвалюють рішення.
Практична цінність підходу очевидна для індустрії. Колишній дослідник Google DeepMind Карл Туйлс бачить основний сценарій у розподілі праці: ресурсоємна модель обробляє запит, а генерацію відповіді бере на себе значно менша. Володимир Арустамян, технічний керівник Lovable, прогнозує зростання затребуваності вузькоспеціалізованих моделей: замість створення «універсального солдата» розробники зможуть комбінувати кілька систем із різними компетенціями — наприклад, загальну модель міркувань із моделлю, навченою на даних із біології чи фізики.
Емпірична перевірка та статус «прев’ю»
Варто зазначити, що команда застосувала свій метод і в тесті ARC-AGI-3, де ІІ має адаптуватися до нових правил в інтерактивному режимі. Система з «мостом» показала один із найкращих результатів у поточному рейтингу, однак ці дані мають статус «прев’ю» та ґрунтуються на неповному наборі тестів. Усі заявлені показники ефективності також базуються на внутрішніх експериментах команди і поки що не отримали незалежного зовнішнього підтвердження.
Мій вердикт: цей підхід може стати фундаментом для нової архітектури розподілених ІІ-систем, де обчислювальна потужність і спеціалізація будуть модульними, а не монолітними. Однак до промислового впровадження належить вирішити нетривіальне завдання стандартизації «протоколу обміну думками» між різнорідними моделями. Зрештою, навіть у людей на це пішли тисячоліття еволюції мови.