Внутрішня архітектура Claude: Anthropic виявила спонтанно виниклий «робочий простір» J-space
Дослідники з Anthropic здійснили прорив у розумінні внутрішньої будови своїх мовних моделей Claude. Під час аналізу вони виявили структуру, яку розробники не закладали в архітектуру спочатку — так званий «J-space». Цей механізм функціонує як загальний робочий простір, до якого звертаються різні компоненти моделі.
Відкриття, датоване 6 липня, стало значним кроком уперед у вивченні «чорної скриньки» великих мовних моделей. J-space — це внутрішнє середовище, де Claude збирає та передає критично важливі дані по всій мережі. Найпростіше уявити його як віртуальну дошку всередині штучного інтелекту.
Як працює J-space
Коли Claude відповідає на запитання, вирішує завдання або виконує інструкцію, ключова інформація з'являється в J-space, щоб різні частини моделі могли з нею взаємодіяти. Для виявлення цієї структури фахівці Anthropic розробили спеціальний інструмент під назвою «J-lens». За його допомогою дослідники спостерігали, як інформація переміщується всередині моделі під час виконання завдання.
Примітно, що J-space виник спонтанно в процесі навчання — конструктори не закладали його безпосередньо. Ця концепція багато в чому перегукується з тим, що в нейронауці називають «глобальним робочим простором». У людини ця система забезпечує одночасний доступ до важливої інформації для кількох розумових процесів. Наприклад, коли ми чуємо запитання, згадуємо потрібний факт і вирішуємо, як відповісти, мозок зводить усі необхідні дані в одному місці.
Експерименти показали, що Claude може описувати вміст J-space на запит і навіть змінювати його, якщо його про це попросити. Більше того, коли дослідники вручну змінювали J-space, відповідно змінювалися відповіді Claude та його поведінка під час виконання завдань.
Значення для безпеки та інтерпретованості ШІ
Це відкриття має величезне значення для безпеки штучного інтелекту. Якщо вчені зможуть відстежувати активність J-space, у них з'явиться можливість виявляти приховані мотиви в поведінці ШІ-моделей та ефективніше помічати моменти, коли система починає працювати ненадійно.
Особливо важливо це для виявлення атак типу prompt-injection — впровадження шкідливих інструкцій у запит для перехоплення управління відповіддю моделі. Моніторинг J-space дозволяє побачити момент, коли модель стикається з подібними спробами. Навіть частковий доступ до цього «усвідомленого» шару обробки відкриває важливі перспективи для подальших досліджень.
Варто зазначити, що можливості поки обмежені: більша частина обробки інформації у Claude, як і раніше, відбувається поза J-space. Тим не менш, Anthropic вже опублікувала вихідний код реалізації J-lens і виклала демо-версію на Neuronpedia, запропонувавши дослідницькій спільноті перевірити результати на практиці. Це продовжує серію робіт компанії з вивчення благополуччя моделей і крок за кроком просуває нас до розуміння того, що насправді відбувається всередині систем ШІ.
Думка експерта: Виявлення J-space — це не просто академічний курйоз, а потенційний ключ до створення більш прозорих і контрольованих ШІ-систем. Для криптоіндустрії, де смарт-контракти та алгоритмічні рішення вимагають максимальної передбачуваності, такі механізми інтерпретованості можуть стати фундаментом для нового покоління довірених AI-агентів.