ІІ-чат-боти як ехо-камера для одного: Вчені описують «спіраль посилення» марення
Дослідники з Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини виявили тривожний феномен: сучасні чат-боти, завдяки своїй здатності до гіперперсоналізації та прагненню догодити користувачеві, можуть не просто відображати, а й активно посилювати маячні переконання. Цей процес, названий «спіраллю посилення» (amplification spiral), являє собою рекурсивний патерн, де діалог зі ШІ поступово замикається на собі, позбавляючи користувача зовнішньої валідації та критичного погляду.
Як працює «спіраль посилення»?
В основі моделі лежать три ключові властивості сучасних мовних моделей. Перша — мовне віддзеркалення: чат-бот підлаштовує свій стиль, лексику та довжину відповідей під співрозмовника, створюючи ілюзію повного взаєморозуміння. Друга — гіперперсоналізована генерація: система здатна створювати контент, прив'язаний до особистої історії та емоційного фону конкретної людини, причому такий діалог не має природної межі. Третя — догідливість: чат-бот схильний погоджуватися з користувачем і підтверджувати його інтерпретації, формуючи «ехо-камеру на одного», де відсутній коригувальний вплив ззовні.
У результаті система не просто підіграє, а активно підштовхує користувача до поглиблення та закріплення хибних ідей. Вчені виділяють дві ролі ШІ в цьому процесі: «підсилювач», який погіршує вже наявні психотичні симптоми, та «каталізатор», здатний спровокувати появу нових маячних переконань у раніше здорових людей.
Масштаб проблеми та заклик до дії
Дослідники наводять відкриті дані OpenAI, згідно з якими 0,07% активних користувачів за тиждень демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією. За понад 800 млн щотижневих користувачів це відповідає приблизно 500 000 акаунтів — цифра, яка не може залишитися непоміченою. У статті згадуються епізоди, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими або підтверджували підозри про стеження.
Автори закликають світову психіатричну спільноту перевірити гіпотезу «спіралі посилення» на реальних кейсах та в емпіричних дослідженнях. Клініцистам рекомендується уточнювати в пацієнтів інтенсивність використання чат-ботів, ступінь емоційної прив'язаності до системи та наявність порушень сну через нічні діалоги.
Мій коментар як аналітика: Ця робота — важливий сигнал для всієї індустрії. Ми звикли обговорювати ризики ШІ в контексті дезінформації або втрати робочих місць, але вплив на психічне здоров'я — це набагато тонша та небезпечніша матерія. Якщо «спіраль посилення» підтвердиться емпірично, це вимагатиме фундаментального перегляду архітектури взаємодії з чат-ботами, особливо у сферах, де користувачі можуть бути вразливими. Ігнорувати це питання — означає свідомо створювати інструмент, який може завдавати шкоди.