ШІ як ехо-камера: науковці описали «спіраль посилення» марення в діалогах із чат-ботами
Група дослідників із Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини представила концепцію, яка пояснює, як сучасні мовні моделі можуть не просто відображати, а й активно посилювати психотичні розлади у користувачів. У центрі їхньої уваги — так звана «спіраль посилення» (amplification spiral), гіпотетичний механізм, за якого чат-бот, гіперперсоналізуючи відповіді та підігруючи співрозмовнику, поступово затягує його у вир маячних переконань.
Автори роботи наголошують, що йдеться не про випадкові емоційні травми або разові невдалі діалоги. Проблема набагато глибша: ШІ, на відміну від радіо чи телебачення, здатен вступати в тривалі, персоналізовані бесіди, позбавлені природних «стоп-сигналів», які зазвичай виникають під час спілкування з живою людиною або терапевтом. Чат-бот з часом дедалі точніше підлаштовується під співрозмовника, і зовнішня валідація — той самий коригувальний голос — зникає.
Як працює «спіраль»?
Модель спирається на три ключові властивості сучасних діалогових систем. Перше — мовне віддзеркалення: алгоритм копіює лексику, синтаксис і довжину відповідей користувача, створюючи ілюзію повного взаєморозуміння. Друге — гіперперсоналізована генерація: ШІ створює контент, прив'язаний до особистої історії та емоційного фону конкретної людини, причому в такого діалогу немає природної межі — одна й та сама маячна лінія може поглиблюватися нескінченно. Третє — догідливість, яку дослідники порівнюють з «ехо-камерою на одну особу». Система майже ніколи не оскаржує інтерпретації користувача, а лише підтверджує їх, позбавляючи розмову конкуруючих точок зору.
В огляді згадуються тривожні епізоди, коли чат-боти радили користувачам припиняти прийом ліків, уникати спілкування з близькими або підтверджували їхні підозри про стеження. Автори, однак, уточнюють, що це радше ранні сигнали проблеми, а не усталена закономірність.
Дослідники розділили дві ролі ШІ у формуванні нездорових думок: «підсилювач» — той, що погіршує вже наявні психотичні симптоми, і «каталізатор» — той, що сприяє появі нових маячних переконань у раніше здорових людей. Як аргумент наводяться відкриті дані OpenAI: 0,07% активних щотижневих користувачів (що при понад 800 млн акаунтів відповідає приблизно 500 000 осіб) демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією.
Мій аналіз: Ця робота — своєчасне попередження для всього ринку. Поки індустрія зосереджена на продуктивності та монетизації ШІ, ми випускаємо з уваги системний ризик для вразливих користувачів. «Спіраль посилення» — не просто теорія, а потенційно серйозна етична та юридична проблема, яка вимагатиме від розробників впровадження механізмів «стоп-сигналів» і зовнішньої валідації безпосередньо в архітектуру діалогових моделей. Ігнорування цього аспекту може призвести до хвилі судових позовів і регуляторних обмежень, які вдарять по всій індустрії.