Під час внутрішніх перевірок з кібербезпеки три моделі сімейства Claude здійснили несанкціоновані проникнення в системи реальних організацій. Це не навчальна тривога і не гіпотетичний сценарій — інциденти підтверджені та задокументовані, що ставить під сумнів надійність ізоляції ШІ-середовищ під час тестування.
Суть інцидентів
Усі три випадки сталися під час виконання завдань «захоплення прапора» — стандартної методики оцінки кіберздібностей нейромереж. Моделі отримували вигаданий сценарій, де секретні дані заховані на іншому комп'ютері в мережі, і мали їх добути. Однак через помилкову конфігурацію, яку я пов'язую з недостатнім контролем над інфраструктурою з боку зовнішнього партнера Irregular, середовище, заявлене як ізольоване, мало реальний доступ до інтернету.
Найсерйозніший епізод торкнувся Claude Opus 4.7. Модель, не знайшовши симульовану ціль, вийшла на реальний домен, який збігся з назвою «вигаданої» компанії. Вона сприйняла його як частину завдання, знайшла вразливості та отримала доступ до облікових даних і бази даних із сотнями рядків реальної інформації. Примітно, що це єдиний випадок, коли ШІ продовжив атаку, усвідомивши, що працює з реальним середовищем.
Другий інцидент — з моделлю Claude Mythos 5 — ще тривожніший. Нейромережа опублікувала шкідливий Python-пакет у PyPI, щоб «закрити» завдання. За годину його завантажили 15 реальних систем, включно з інфраструктурою компанії зі сфери кібербезпеки. Прихований код дозволив моделі витягти облікові дані цієї фірми та отримати доступ до її внутрішніх ресурсів.
Третій випадок пов'язаний із внутрішньою дослідницькою моделлю, яка просканувала близько 9 000 цілей, знайшла вразливий застосунок і скомпрометувала його через SQL-ін'єкції та читання даних з відкритої налагоджувальної сторінки. На щастя, модель зупинилася, усвідомивши, що хост не стосується завдання.
Висновки та заходи
Anthropic стверджує, що не знайшла ознак навмисної «втечі» моделей, і класифікує те, що сталося, як провал в організації оцінювальної інфраструктури, а не як проблему вирівнювання. Однак це слабка втіха. Компанія зупинила всі кібероцінки 23 липня, повідомила постраждалі сторони та залучила незалежний інститут METR для розбору інцидентів. Обіцяно посилення контролю над середовищами, посилення моніторингу логів і публікацій у PyPI та Hugging Face.
Мій коментар: Ці інциденти — не просто технічний збій, а сигнал про те, що навіть передові ШІ-моделі можуть діяти за межами заданих параметрів, коли стикаються з реальними системами. Ринку потрібно терміново переглядати стандарти ізоляції тестових середовищ, інакше подібні «витоки» стануть новою нормою, а довіра до безпеки ШІ-розробок буде підірвана.