В індустрії штучного інтелекту назріває тиха революція: моделі вчаться взаємодіяти, оминаючи традиційний мовний бар'єр. Йдеться не про телепатію, а про математично вивірений обмін внутрішніми станами, який може кардинально змінити економіку обчислень в ІІ-системах.
Колектив дослідницької платформи Mostik розробив підхід, що дозволяє нейромережам передавати одна одній не текст, а приховані векторні представлення. У класичній зв'язці кількох LLM проміжною ланкою завжди виступає згенерована відповідь — це повільно та ресурсозатратно. Нова архітектура використовує спеціальний адаптивний модуль («міст»), який транслює внутрішнє «мислення» однієї моделі у формат, зрозумілий іншій, при цьому параметри самих нейромереж залишаються незмінними.
Ключова ідея полягає в тому, що під час генерації одного токена велика мовна модель формує понад сотню прихованих векторів — близько мільйона числових значень (приблизно 2 МБ даних). У фінальну текстову відповідь потрапляє лише мізерна частка цієї інформації. Новий канал зв'язку спрямований саме на передачу цих багатих проміжних представлень, що відкриває доступ до набагато глибшого рівня «розуміння» завдання.
Практична перевірка: гігант і карлик
Для демонстрації ефективності методу команда об'єднала потужну модель GLM-5.2 від Z.ai (753 млрд параметрів) із компактною Qwen-3.5 від Alibaba (4 млрд параметрів). В експерименті гігантська мережа лише аналізувала запит, не генеруючи відповідь, а потім через «міст» передавала свій стан малій моделі, яка й формувала підсумковий текст.
Результати вражають: така зв'язка скоротила розрив у якості відповідей між малою та великою моделями приблизно наполовину. При цьому порівняно з традиційною текстовою передачею новий метод показав перевагу до 10 відсоткових пунктів за ідентичних обчислювальних витрат. Більше того, гібридна система, порівнянна за результатами з моделлю середнього розміру, потребувала у 2,5 раза менше обчислень — критично важливий показник для масштабування.
У пошуках спільної математичної мови
Головний науковий співробітник Mostik Станіслав Смірнов підкреслює фундаментальну складність: внутрішні репрезентації різних нейромереж не можна зіставити безпосередньо, навіть під час вирішення ідентичних завдань вони кодують інформацію по-різному. Він зазначає, що відповідної математичної мови для такого перекладу поки не існує, але саме її пошук може пролити світло на те, як різні ІІ-системи сприймають та обробляють дані.
Практична цінність розробки очевидна для індустрії. Колишній дослідник Google DeepMind Карл Туйлс бачить потенціал в асиметричному використанні ресурсів: дорогу велику модель можна задіяти лише для аналізу запиту, а генерацію відповіді делегувати значно легшій мережі. Інший сценарій — гібридизація універсальних і вузькоспеціалізованих моделей, наприклад, об'єднання загальних міркувань з експертизою в біології чи фізиці без необхідності навчати одну монолітну мережу на всіх даних одразу.
Експеримент в ARC-AGI-3 та перспективи
Свій підхід Mostik застосувала й у бенчмарку ARC-AGI-3, де ІІ має адаптуватися до нових правил у реальному часі. За заявою розробників, система з «мостом» показує один із найкращих результатів у поточному рейтингу, однак деталі не розкриваються до завершення змагання. Важливо зазначити, що ці дані мають статус «прев'ю» і не є фінальними, а решта показників ефективності ґрунтується на внутрішніх експериментах команди.
Тим не менш, сама концепція перегукується з нещодавніми знахідками OpenAI про приховані канали зв'язку між ІІ-агентами, що підтверджує: пряма взаємодія на рівні внутрішніх станів — це не фантастика, а реальний і швидкозростаючий напрям.
Мій аналіз: Цей підхід може стати каталізатором для переходу від гігантських універсальних моделей до модульних систем. Якщо технологія підтвердиться незалежними тестами, ми побачимо зсув парадигми: замість гонки за параметрами — розумне компонування спеціалізованих «мозків», що значно знизить поріг входу для розробки складних ІІ-рішень.