Архітектура сучасних великих мовних моделей (LLM) передбачає, що під час спільної роботи нейромережі спілкуються виключно через генерацію тексту. Це колосальне вузьке місце: у процесі обробки запиту модель формує понад сотню прихованих векторів — близько мільйона числових значень, що еквівалентно приблизно 2 МБ внутрішнього стану. У фінальну текстову відповідь потрапляє лише мізерна частка цієї інформації. Команда стартапу Mostik запропонувала елегантне вирішення цієї проблеми, створивши окремий адаптований модуль-«міст», який транслює внутрішні представлення однієї моделі безпосередньо в обчислювальний простір іншої, минаючи етап вербалізації.
Ключова особливість підходу — повна статичність параметрів взаємодіючих нейромереж. Коригуванню піддається виключно проміжний модуль, який навчається зіставляти латентні простори різних архітектур. Це відкриває можливості для створення гібридних систем без дорогого донавчання.
Експеримент: союз гіганта та малюка
Для верифікації методу дослідники з'єднали потужну GLM-5.2 від Z.ai (753 млрд параметрів) зі скромною Qwen-3.5 від Alibaba (4 млрд параметрів). У цій зв'язці «важка» модель займалася виключно аналізом запиту, не генеруючи відповідь. Її внутрішній стан через «міст» передавався малій моделі, яка й формувала підсумковий текст.
Результати вражають: така конфігурація дозволила скоротити розрив у якості відповідей між малою та великою моделями приблизно наполовину. За порівнянних обчислювальних витрат гібридна система показала перевагу в 10 відсоткових пунктів над класичною схемою з текстовою передачею даних. Більше того, зв'язка GLM-5.2 та Qwen-3.5 виявилася приблизно в 2,5 раза економнішою за обчисленнями, ніж монолітна модель середнього розміру з аналогічною якістю.
У пошуках спільної математичної мови
Головний науковий співробітник Mostik Станіслав Смірнов підкреслює фундаментальну складність завдання: внутрішні представлення різних нейромереж не можна зіставити безпосередньо. Навіть вирішуючи одне й те саме завдання, моделі кодують інформацію у своїх прихованих станах принципово по-різному. «Схоже, відповідної математичної мови поки що не існує», — зазначає він. Вивчення таких відповідностей, на його думку, може пролити світло на те, як ІІ-системи представляють знання та ухвалюють рішення, а також виявити спільні закономірності в їхніх «міркуваннях».
Практична цінність розробки очевидна для індустрії. Колишній дослідник Google DeepMind Карл Туйлс бачить сценарій, де ресурсомістка модель використовується лише для «роздумів», а генерацію тексту бере на себе компактна модель. Інший перспективний вектор — комбінування універсальної моделі зі спеціалізованими експертами в біології, фізиці чи фінансах. Технічний керівник Lovable Володимир Арустамян вважає, що це підвищить попит на вузькоспеціалізовані моделі, дозволяючи збирати складні системи з готових компонентів.
Перевірка боєм: ARC-AGI-3
Mostik також застосувала свій метод у тесті ARC-AGI-3 — наборі завдань, що вимагають від ІІ адаптації до нових правил у реальному часі. Система з «містом» показала один із найкращих результатів у поточному рейтингу, хоча деталі поки що не розкриваються через триваюче змагання.
Втім, до цих заяв варто ставитися з обережністю: дані в ARC-AGI-3 мають статус «прев'ю» та ґрунтуються на неповних тестах. Усі інші показники ефективності — скорочення розриву між моделями та зниження витрат — базуються на внутрішніх експериментах команди й поки що не отримали незалежного підтвердження.
Мій аналіз: Ця робота знаменує важливий зсув від парадигми «спілкування через текст» до прямого обміну прихованими станами. Якщо результати Mostik підтвердяться незалежними тестами, ми стоїмо на порозі появи справді модульних ІІ-систем, де «мозок» і «мовлення» можуть бути розділені та оптимізовані окремо. Це не просто оптимізація — це новий погляд на архітектуру штучного інтелекту, де знання передаються на рівні математичних абстракцій, а не слів.