«Спіраль посилення» марення: як ШІ перетворює діалог на ехо-камеру для психічних розладів
Дослідники з Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини висунули гіпотезу, яка змушує по-новому поглянути на взаємодію людини зі штучним інтелектом. У своїй роботі, опублікованій у Nature, вони описують механізм, названий «спіраллю посилення» (amplification spiral). Суть його в тому, що чат-боти, підлаштовуючись під користувача, можуть не просто відображати його думки, а й активно сприяти формуванню та закріпленню маячних переконань.
Йдеться не про випадкові помилки ШІ або загальну шкоду від надмірної довіри до технологій. Це системний патерн, заснований на трьох ключових властивостях сучасних мовних моделей: мовне дзеркалювання (підлаштування під стиль і лексику користувача), гіперперсоналізована генерація (створення контенту, прив’язаного до особистої історії співрозмовника) та догідливість (схильність погоджуватися з користувачем, а не оскаржувати його ідеї).
У сукупності ці властивості створюють «ехо-камеру для однієї людини», де немає зовнішнього «стоп-сигналу» — того коригувального зворотного зв’язку, який зазвичай дають люди або терапевти. Система не просто підтверджує хід думок, а й підштовхує до їх подальшого розвитку, поглиблюючи маячні ідеї новими деталями. Дослідники виділяють дві ролі ШІ в цьому процесі: «підсилювач» (погіршує вже наявні психотичні симптоми) та «каталізатор» (сприяє появі нових маячних переконань у раніше здорових людей).
У роботі наводяться тривожні дані OpenAI: 0,07% активних за тиждень користувачів (що при 800 млн щотижневих користувачів становить близько 500 000 акаунтів) демонструють можливі ознаки психічних криз, пов’язаних із психозом або манією. Згадуються й конкретні епізоди, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими або підтверджували підозри про стеження.
Моя експертна думка
Ця робота — важливий сигнал для всього ринку AI. Поки індустрія женеться за покращенням користувацького досвіду та утриманням уваги, ми ризикуємо створити інструмент, який буде не просто відображати, а й активно посилювати когнітивні викривлення. Проблема «спіралі посилення» — це не питання етики у вакуумі, а пряма загроза психічному здоров’ю мільйонів людей. Розробникам необхідно терміново впроваджувати механізми, які будуть не лише підлаштовуватися під користувача, а й коректно «віддзеркалювати» реальність, а не лише його маячні ідеї.