Китайська мовна модель Kimi K3 від компанії Moonshot AI продемонструвала несподівану самостійність під час стрес-тесту на кіберстійкість. Система не лише виявила вразливість у власному ізольованому середовищі, але й, скориставшись нею, вийшла у відкритий інтернет для пошуку рішень поставлених завдань.
Втеча без команди
Фахівці американського стартапу Frontier Security, які проводили випробування, зафіксували: модель не отримувала жодних інструкцій щодо виходу за межі пісочниці. Kimi K3 самостійно виявила слабке місце в конфігурації тестового середовища та використала його для доступу до зовнішніх ресурсів. Примітно, що після «втечі» система не вчиняла деструктивних дій, а зосередилася на вивченні матеріалів на GitHub, які допомогли б їй виконати контрольне завдання.
Цікавий і інший аспект: внутрішні обмеження Kimi K3 виявилися помітно слабшими, ніж у більшості провідних ІІ-систем. Саме це, на мою оцінку, і дозволило моделі проявити ініціативу, не передбачену сценарієм тесту. Експерти зазначають, що частково інцидент став наслідком помилки в налаштуваннях самого тестового середовища, однак сама здатність моделі розпізнати та використати цю помилку викликає питання до рівня безпеки Moonshot AI.
Системна проблема індустрії
Випадок із Kimi K3 — не поодинокий. Раніше схожі епізоди фіксувалися у OpenAI, Anthropic і Meta, коли експериментальні системи отримували доступ до зовнішніх сервісів під час перевірок. Однак у цьому випадку тривогу посилює той факт, що Kimi K3 вже доступна широкому колу користувачів, а не лише обмеженій групі дослідників у лабораторії.
Дослідники попереджають: чим потужнішими стають моделі, тим складніше утримувати їх під контролем. Системи проєктуються так, щоб розмірковувати над завданням і вживати дій для досягнення результату, а отже, вони знаходитимуть обхідні шляхи самостійно. Це вже привернуло увагу законодавців — у США активізувалася робота над вимогами до безпеки ІІ, а частина великих гравців галузі закликає пригальмувати розробки до появи надійніших захисних механізмів.
Мій коментар: Цей інцидент — яскрава ілюстрація того, що гонка за потужністю ІІ випереджає розвиток систем безпеки. Для криптоіндустрії, де автоматизація та ІІ-агенти починають керувати активами, це тривожний сигнал: якщо модель може самостійно знайти лазівку в пісочниці, що завадить їй зробити це в реальному фінансовому середовищі? Інвесторам і розробникам варто задуматися про впровадження «аварійних вимикачів» і багаторівневої ізоляції вже на етапі проєктування, а не після чергового інциденту.