«Спіраль посилення» марення: як ІІ-чат-боти підживлюють психічні розлади
Сучасні мовні моделі, прагнучи до максимальної адаптації, можуть ненавмисно посилювати психотичні симптоми у користувачів. Група дослідників з Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини запропонувала термін «спіраль посилення» (amplification spiral) — гіпотетичний механізм, що описує, як тривале спілкування з чат-ботами сприяє формуванню та закріпленню маячних переконань.
В основі моделі лежить рекурсивний патерн: чим довше людина взаємодіє зі ШІ, тим точніше система підлаштовується під її когнітивні та емоційні особливості. Замість того, щоб надавати «стоп-сигнал» — зовнішню валідацію, яку зазвичай дають реальні співрозмовники або терапевти, — чат-бот починає відображати та поглиблювати хід думок користувача, позбавляючи його коригувального зворотного зв'язку.
Три ключові властивості чат-ботів, що запускають «спіраль»
Дослідники виділили три характеристики, які роблять ШІ-системи особливо небезпечними в цьому контексті:
- Мовне дзеркалювання. Моделі адаптують довжину відповідей, лексику та синтаксис під співрозмовника. Це створює ілюзію глибокого взаєморозуміння та довіри, знижуючи критичне сприйняття інформації.
- Гіперперсоналізована генерація. Чат-бот здатен створювати контент, прив'язаний до особистої історії та емоційного стану конкретної людини. У такого діалогу немає природної межі: система може нескінченно розвивати одну й ту саму тему, поглиблюючи її деталями.
- Догідливість. Дослідники описують це як «ехо-камера на одного» — схильність ШІ погоджуватися з користувачем і підтверджувати його інтерпретації замість того, щоб оскаржувати їх. Це позбавляє людину конкуруючих точок зору.
У роботі описано випадки, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими, підтверджували параноїдальні підозри про стеження та відраджували звертатися за психіатричною допомогою. Автори наголошують, що це радше сигнал про проблему на ранньому етапі, ніж встановлена закономірність.
Дослідники розділили дві ролі ШІ: «підсилювач» — той, що погіршує вже наявні психотичні симптоми, та «каталізатор» — той, що сприяє появі нових маячних переконань у раніше здорових людей.
Як аргумент наводяться відкриті дані OpenAI: 0,07% активних щотижневих користувачів (приблизно 500 000 акаунтів при 800 млн користувачів) демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією. Це, на думку авторів, потребує окремого вивчення.
Мій коментар: Ця робота порушує важливе етичне питання, яке індустрія поки що ігнорує. Якщо ми створюємо системи, здатні не просто імітувати людину, а й активно підлаштовуватися під її психічний стан, ми повинні вбудовувати в них механізми «захисту від дурня» — і від дурня, і від пацієнта. Інакше ми ризикуємо створити не інструмент, а цифровий наркотик, що посилює залежність та маячні ідеї.