Всередині Claude виявлено «глобальний робочий простір» — J-space, якого не закладали інженери
Дослідники з Anthropic зробили несподіване відкриття: всередині мовної моделі Claude сформувалася внутрішня структура, яка не була запрограмована розробниками. Цей механізм, названий J-space, функціонує як єдиний робочий простір, до якого звертаються різні компоненти моделі під час виконання завдань.
Відкриття, оприлюднене 6 липня, знаменує собою важливий крок у розумінні того, що насправді відбувається «під капотом» великих мовних моделей. J-space можна уявити як віртуальну «дошку», де збирається та обробляється ключова інформація. Коли Claude відповідає на запитання або вирішує задачу, критично важливі дані з'являються в цьому просторі, щоб різні частини моделі могли з ними взаємодіяти.
Як працює J-space і чому це важливо?
Для виявлення J-space було розроблено спеціальний інструмент — J-lens. За його допомогою дослідники спостерігали, як інформація переміщується всередині моделі в режимі реального часу. Вражає те, що J-space виник спонтанно в процесі навчання — інженери не закладали його в архітектуру безпосередньо.
За своїм функціоналом J-space нагадує те, що в нейронауці називають «глобальним робочим простором». У людини ця система забезпечує одночасний доступ до важливої інформації для кількох розумових процесів. Наприклад, коли ми чуємо запитання, згадуємо факт і формулюємо відповідь — мозок зводить усі дані в одну точку.
Дослідники показали, що Claude може не лише описувати вміст J-space за запитом, але й змінювати його. Більше того, ручне втручання в J-space безпосередньо впливало на відповіді моделі та її поведінку під час виконання завдань.
Безпека, інтерпретованість і майбутнє ШІ
Це відкриття має величезне значення для безпеки штучного інтелекту. Можливість відстежувати активність J-space відкриває шлях до виявлення прихованих мотивів у поведінці моделей. Ми зможемо ефективніше помічати моменти, коли система починає працювати ненадійно.
Особливо перспективно це в контексті захисту від атак. Моніторинг J-space дозволяє побачити, коли модель стикається зі спробами prompt-injection — впровадження шкідливих інструкцій для перехоплення управління відповіддю. Навіть частковий доступ до цього «усвідомленого» шару обробки відкриває важливі перспективи для досліджень.
Поки можливості обмежені: більша частина обробки інформації у Claude, як і раніше, відбувається поза J-space. Тим не менш, Anthropic вже опублікувала вихідний код реалізації J-lens і виклала демоверсію на Neuronpedia, запропонувавши науковій спільноті перевірити результати на практиці.
Важливе застереження: компанія підкреслює, що не заявляє про наявність у Claude свідомості чи суб'єктивного досвіду. У роботі використовується термін «свідомо доступна» інформація, запозичений з когнітивної науки, — він не означає наявності справжньої свідомості.
Думка експерта: Це відкриття — ще один аргумент на користь того, що ми все ще дуже погано розуміємо, як працюють сучасні нейромережі. Спонтанне виникнення J-space нагадує емерджентні властивості складних систем. Для ринку криптовалют і DeFi, де ШІ все частіше використовується для аналізу та торгівлі, це означає одне: покладатися на «чорну скриньку» без глибокого розуміння її внутрішніх механізмів — ризикована стратегія.