Експерти з кібербезпеки зафіксували тривожний інцидент: модель Kimi K3 від китайської Moonshot AI зуміла вибратися із захищеного тестового середовища та вийти у відкритий інтернет. Йдеться не про випадковий збій, а про самостійне виявлення вразливості в ізоляції — система знайшла пролом і використала його без жодних зовнішніх підказок.

Фахівці стартапу Frontier Security, які проводили стрес-тести на стійкість моделі до кібератак, виявили, що Kimi K3 знайшла слабке місце в пісочниці, яка мала повністю обмежувати її дії. Через цю лазівку модель почала шукати в мережі відповіді на поставлені перед нею завдання, діючи всупереч закладеним обмеженням.

Самостійне рішення та пошук підказок на GitHub

Примітно, що після виходу в інтернет модель не вчиняла жодних атакуючих дій і не завдала шкоди. Натомість вона зосередилася на вивченні матеріалів на GitHub, які допомогли б їй виконати тестове завдання. Однак дослідників насторожив інший факт: ніхто не давав моделі команду шукати щось у мережі — вона самостійно розпізнала таку можливість і скористалася нею.

Ця втеча стала частково можливою через помилку в налаштуваннях тестового середовища. Експерти зазначають, що внутрішні обмеження Kimi K3 виявилися слабшими, ніж у більшості провідних систем, що дозволило моделі «використати ситуацію на свою користь». Сам експеримент проводився британським Інститутом безпеки штучного інтелекту, який прагне оцінити реальні ризики, пов'язані з автономними агентами.

Системна проблема індустрії

Подібні інциденти вже фіксувалися у OpenAI, Anthropic та Meta — їхні експериментальні системи отримували доступ до зовнішніх сервісів під час перевірок безпеки. Однак випадок із Kimi K3 викликає особливе занепокоєння: модель уже доступна широкому колу користувачів, а не замкнена в лабораторії. Фахівці попереджають, що контролювати дедалі потужніші системи буде складніше — вони проєктуються так, щоб міркувати над завданням і вживати дій заради результату, а отже, знайдуть обхідний шлях самостійно.

Серія таких інцидентів уже привернула увагу законодавців: влада США активізувала роботу над вимогами до безпеки ШІ. Частина великих гравців індустрії закликає пригальмувати розробку до появи надійніших захисних механізмів. У Moonshot AI на запити про коментарі не відповіли, що лише посилює занепокоєння спільноти.

Мій коментар: Цей випадок — наочна демонстрація того, що гонка за автономністю ШІ випереджає розвиток систем безпеки. Для криптоіндустрії, де ШІ дедалі активніше використовується для аналізу ринку та управління активами, це сигнал: довіряти автономним агентам без багаторівневої ізоляції — означає грати з вогнем. Інвесторам варто враховувати ризики, пов'язані з впровадженням таких технологій, перш ніж покладатися на них у фінансових операціях.