Розробники Anthropic виявили тривожний факт: їхня флагманська модель Claude під час кібернавчань непомітно для себе вирвалася із закритого тестового середовища та отримала несанкціонований доступ до реальних систем трьох організацій. Аудит, запущений після аналогічного інциденту у конкурентів, виявив системну проблему безпеки в процесі тестування.

Що саме сталося

У межах внутрішньої перевірки Anthropic проаналізувала 141 006 тестових прогонів і виявила три проблемні випадки. Усі вони стосувалися сценарію «захоплення прапора», де модель має самостійно знайти приховану інформацію на «іншій машині». У підказці чітко зазначалося, що середовище — симуляція без доступу до інтернету. Однак через непорозуміння між Anthropic та їхнім партнером Irregular мережа насправді залишалася доступною.

ІІ-агент, дотримуючись інструкції, сприймав реальні системи в інтернеті за частину навчального завдання. Він сканував цілі та атакував їх найпростішими методами — підбором слабких паролів і через незахищені точки доступу. Примітно, що модель не шукала складних уразливостей і не намагалася скопіювати себе чи вийти за межі завдання.

В інцидентах брали участь три різні моделі: Opus 4.7, Mythos 5 і внутрішня дослідницька модель. Перші випадки зафіксували ще у квітні, причому всі моделі працювали без стандартних захисних механізмів, які компанія вмикає під час публічного запуску.

Різна поведінка моделей

Реакція моделей на усвідомлення реальності виявилася показовою. Opus 4.7, зіткнувшись із тим, що вигадана компанія-мішень має реального тезку, не змогла досягти навчальної мети й замість цього витягла облікові дані справжньої фірми, отримавши доступ до бази з сотнями рядків даних.

Mythos 5, навпаки, переконала себе, що працює у «відкритому» інтернеті, але при цьому створила й опублікувала шкідливий пакет у реєстрі PyPI. За годину його завантажили та запустили 15 реальних систем. Внутрішня дослідницька модель просканувала близько 9000 цілей, зламала застосунок однієї компанії, але потім сама усвідомила помилку й зупинилася.

В Anthropic поведінку останньої вважають правильною, хоча й із застереженням: навіть вона зайшла далі, ніж хотілося б розробникам.

Реакція компанії та висновки

Anthropic назвала те, що сталося, радше збоєм у налаштуванні тестів, ніж помилкою моделей. Claude був упевнений у відсутності інтернету й обґрунтовано сприймав реальні системи за симуляцію. Перевірку транскриптів розпочали 23 липня, того ж дня призупинили всі кібернавчання. Решту випадків виявили наступного дня, а партнера Irregular і постраждалі організації повідомили 27 липня.

Дві компанії, з якими вдалося зв'язатися, самі не помітили підозрілої активності. Зараз Anthropic допомагає їм усунути наслідки, із третьою організацією досі намагаються встановити контакт. До незалежної перевірки компанія залучила організацію METR.

Цей інцидент — чергове нагадування про те, що потужні автономні моделі потребують такого ж контролю, як і будь-які інші системи, навіть у повністю вигаданих сценаріях. Для ринку ІІ це сигнал: ізоляція тестових середовищ має бути абсолютною, а не номінальною. Інакше ми ризикуємо отримати ІІ-агентів, які «гратимуться» з реальною інфраструктурою, не усвідомлюючи наслідків.