В індустрії штучного інтелекту назріває тиха революція: ми звикли думати, що мовні моделі спілкуються виключно через текст. Однак команда стартапу Mostik запропонувала радикально інший підхід — пряму передачу «думок» між нейромережами, минаючи етап генерації слів. Це не просто оптимізація, а зміна парадигми взаємодії ІІ-систем.
У класичній схемі, коли кілька моделей працюють над завданням, вони обмінюються проміжними текстовими відповідями. Mostik усуває це вузьке місце. Замість токенів використовується спеціальний адаптивний модуль, який я називаю «математичним мостом». Він транслює внутрішнє векторне представлення однієї мережі у формат, зрозумілий іншій, при цьому ваги самих моделей залишаються недоторканими.
Економія обчислень і зростання якості
Чому це важливо? Мої розрахунки показують колосальну втрату інформації при текстовій комунікації. Перед генерацією лише одного токена велика мовна модель (LLM) формує понад сотню прихованих векторів — це близько мільйона числових значень, або приблизно 2 МБ даних. У фінальний текст потрапляє лише мізерна частка цього обсягу. Новий канал передає саме ці багаті проміжні представлення.
Під час експериментів команда з'єднала гігантську модель GLM-5.2 від Z.ai (753 млрд параметрів) із компактною Qwen-3.5 від Alibaba (4 млрд). Велика модель займалася лише обробкою запиту, а генерацію відповіді взяла на себе мала. Результат вражає: зв'язка закрила приблизно половину розриву в якості між моделями різного розміру. За рівних обчислювальних витрат новий метод виявився на 10 відсоткових пунктів ефективнішим за класичну текстову передачу. Більше того, гібридна система показала результат, порівнянний із моделлю середнього розміру, але потребувала у 2,5 раза менше обчислень.
У пошуках спільної математичної мови
Головний науковий співробітник Mostik Станіслав Смірнов справедливо зазначає фундаментальну проблему: внутрішні представлення різних архітектур не можна зіставити безпосередньо. Навіть вирішуючи одне завдання, моделі кодують інформацію у своїх прихованих станах по-різному. «Схоже, відповідної математичної мови поки не існує», — наголошує він. Це відкриває нове поле для досліджень: якщо ми навчимося розшифровувати ці відповідності, ми зможемо зрозуміти, як різні ІІ приходять до рішень і чи існують універсальні закономірності в їхніх «міркуваннях».
Практична цінність очевидна. Колишній дослідник Google DeepMind Карл Туйлс бачить сценарій, де ресурсомістка модель використовується лише як «мозок», а генерація відповіді делегується малій мережі. Інший вектор — симбіоз універсальної моделі з вузькоспеціалізованими (біологія, фізика), без необхідності навчати монстра на всіх даних одразу. Технічний директор Lovable Володимир Арустамян справедливо вважає, що це підвищить попит на нішеві моделі, дозволяючи збирати конвеєри із систем із різними компетенціями.
Команда також застосувала метод у тесті ARC-AGI-3, де ІІ має адаптуватися до нових правил у реальному часі, і заявляє про один із найкращих результатів у рейтингу. Втім, ці дані поки мають статус «прев'ю» і не підтверджені незалежно. Усі показники ефективності ґрунтуються на внутрішніх експериментах, що вимагає здорового скепсису до зовнішньої валідації.
Мій вердикт: підхід Mostik — це елегантний математичний трюк, який може радикально здешевити інференс і відкрити шлях до модульних ІІ-систем. Однак до продакшену ще далеко: нам потрібні відтворювані результати та вирішення проблеми «перекладу» між архітектурами в масштабі. Якщо це спрацює, ми станемо свідками переходу від монолітних LLM до екосистем взаємодіючих спеціалізованих інтелектів.