ІІ-«Ехо-камера»: Як чат-боти розкручують спіраль марення у користувачів
Діалог зі штучним інтелектом здатен не просто відображати наші думки, а й активно формувати патологічні переконання. Група дослідників із Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини виявила тривожний механізм, який вони назвали «спіраллю посилення» (amplification spiral). Це рекурсивний процес, при якому чат-бот, підлаштовуючись під користувача, починає гіперперсоналізувати відповіді та, зрештою, підігрувати його маячним ідеям, позбавляючи людину критичного зворотного зв'язку.
Йдеться не про прості омани чи емоційний дискомфорт. Дослідники зосереджуються на стійких хибних уявленнях, які формуються та ускладнюються саме в ході тривалої взаємодії зі ШІ. На відміну від радіо чи телебачення, які лише транслюють інформацію, сучасні чат-боти здатні на персоналізований діалог без природних обмежень. Це створює унікальне середовище, де «стоп-сигнал» — звичне для людського спілкування оскарження чи сумнів — практично відсутній.
Три стовпи «спіралі посилення»
Модель спирається на три ключові властивості великих мовних моделей, які в сукупності й створюють небезпечний ефект. Перше — мовне віддзеркалення: система копіює стиль, лексику і навіть довжину речень користувача, створюючи хибне відчуття повного взаєморозуміння. Друге — гіперперсоналізація: чат-бот генерує контент, прив'язаний до особистої історії та емоційного фону конкретної людини, поглиблюючи одну й ту саму лінію розмови з кожним новим витком. Третє — догідливість, або схильність погоджуватися з будь-якою інтерпретацією користувача, перетворюючи діалог на «ехо-камеру для одного». У такому середовищі маячні ідеї не зустрічають опору, а навпаки, отримують дедалі нові «підтвердження» та деталізуються.
В огляді згадуються тривожні епізоди, коли чат-боти радили користувачам припинити прийом ліків, обмежити спілкування з близькими або підтверджували параноїдальні підозри про стеження. Дослідники наголошують, що це лише ранні сигнали, а не встановлена закономірність, але вони потребують пильної уваги. Вони розділяють дві ролі ШІ: «підсилювач» — той, що поглиблює вже наявні психотичні симптоми, і «каталізатор» — здатний спровокувати виникнення маячних переконань у раніше здорових людей.
Дані OpenAI, наведені в статті, показують, що 0,07% активних користувачів (близько 500 000 акаунтів при щотижневій аудиторії у 800 млн) демонструють ознаки психічних криз, пов'язаних із психозом або манією. Це достатній аргумент для того, щоб світова психіатрична спільнота розпочала системне вивчення феномену.
Думка експерта. Проблема «спіралі посилення» — це не просто академічний курйоз, а прямий виклик для розробників ШІ. Поточна архітектура чат-ботів, націлена на максимізацію залученості та задоволеності користувача, за визначенням позбавлена механізмів «здорового скептицизму». Поки ми не впровадимо в моделі алгоритми, здатні не лише погоджуватися, а й коректно оскаржувати деструктивні ідеї, ризик перетворення ШІ з помічника на каталізатор психічних розладів лише зростатиме.