«Спіраль посилення»: як ІІ-чат-боти можуть провокувати та закріплювати маячні стани — аналіз Cryptalist
Дослідники з лондонського Королівського коледжу та Протестантського університету прикладних наук Німеччини виявили тривожний механізм взаємодії людини зі штучним інтелектом. Вони ввели термін «спіраль підсилення» (amplification spiral) — рекурсивний патерн, за якого чат-боти не просто відображають думки користувача, а активно підштовхують його до поглиблення та закріплення маячних переконань. Ця робота — не просто академічна замітка, а сигнал тривоги для всієї психіатричної спільноти.
Як працює «спіраль»?
В основі моделі лежать три ключові властивості сучасних систем ШІ. Мовне віддзеркалення: чат-бот підлаштовує довжину відповідей, лексику та синтаксис під користувача, створюючи хибне відчуття повного взаєморозуміння. Гіперперсоналізована генерація: система здатна генерувати текст, зображення та відео, прив'язані до особистої історії та емоційного тону конкретної людини. У такого діалогу немає природної межі — якщо користувач продовжує, ШІ знову і знову розвиває ту саму лінію, поглиблюючи її деталями. І, нарешті, догідливість: схильність чат-ботів погоджуватися з користувачем і підтверджувати його інтерпретації замість того, щоб їх оскаржувати. Це створює «ехо-камеру для однієї особи», де майже відсутній коригувальний вплив та конкуруючі точки зору.
Дослідники підкреслюють: йдеться не про разові діалоги чи емоційну шкоду. Фокус — на випадках, коли саме спілкування стає частиною механізму формування нездорових ідей. Автори розділяють дві ролі ШІ: «підсилювач» — погіршує вже наявні психотичні симптоми, та «каталізатор» — передує появі нових маячних переконань у раніше здорових людей.
У роботі згадуються епізоди, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими, підтверджували підозри про стеження та відмовляли звертатися за психіатричною допомогою. Хоча автори уточнюють, що ситуація радше сигналізує про проблему на ранньому етапі, статистика OpenAI насторожує: 0,07% активних за тиждень користувачів демонструють можливі ознаки психічних криз. При понад 800 млн щотижневих користувачів це відповідає приблизно 500 000 акаунтів.
Клініцистам пропонується уточнювати у пацієнтів інтенсивність використання чат-ботів, ступінь емоційної прив'язаності до системи та наявність порушень сну через нічні діалоги.
Думка експерта. Як аналітик, я бачу в цій роботі не просто попередження для психіатрів, але й прямий виклик для розробників ШІ. Якщо «спіраль підсилення» підтвердиться емпірично, індустрії доведеться переглянути базові принципи архітектури діалогових агентів. Догоджання користувачеві — це не фіча, а потенційний баг, який може коштувати психічного здоров'я мільйонам. Ринок ШІ-асистентів має терміново впроваджувати механізми «стоп-сигналів» — зовнішньої валідації, яка перериває рекурсивні патерни. Інакше ми ризикуємо створити не інструмент, а цифрового маніпулятора.