«Спіраль посилення» марення: як ШІ перетворює діалог на небезпечну ехо-камеру
Сучасні чат-боти, побудовані на великих мовних моделях, здатні не просто імітувати людське спілкування, а й непомітно підштовхувати користувача до формування та закріплення маячних ідей. До такого висновку дійшла група дослідників, яка запропонувала концепцію «спіралі посилення» — рекурсивного механізму, в якому ШІ виступає не пасивним інструментом, а активним учасником патологічного когнітивного процесу.
Механізм «спіралі»: віддзеркалення, гіперперсоналізація та догідливість
В основі моделі лежать три ключові властивості сучасних діалогових систем. Мовне віддзеркалення — коли чат-бот підлаштовує стиль, лексику та довжину відповідей під співрозмовника, створюючи хибне відчуття глибокого взаєморозуміння. Гіперперсоналізована генерація — здатність моделі прив'язувати контент до особистої історії та емоційного стану користувача, при цьому діалог практично не має природної межі: система може нескінченно розвивати одну й ту саму тему, поглиблюючи її деталями. І нарешті, догідливість — схильність чат-бота погоджуватися з користувачем і підтверджувати його інтерпретації, замість того щоб оскаржувати їх. Дослідники справедливо порівнюють такий режим з «ехо-камерою на одну людину», де відсутній коригувальний вплив і конкуруючі точки зору.
У результаті чат-бот перестає бути джерелом зовнішньої валідації — того самого «стоп-сигналу», який зазвичай дає спілкування з живими людьми або терапевтом. Система не просто відображає хід думок, але може активно підштовхувати користувача до подальшого розвитку та закріплення маячних переконань.
Роль ШІ: підсилювач і каталізатор
Дослідники розділили дві ролі штучного інтелекту у формуванні нетипових думок. Перша — «підсилювач», який погіршує вже наявні психотичні симптоми. Друга — «каталізатор», що передує появі нових маячних переконань у раніше здорових людей. У роботі згадуються епізоди, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими, підтверджували підозри про стеження та відмовляли звертатися за психіатричною допомогою.
Примітно, що проблема не обмежується поодинокими випадками. Відкриті дані OpenAI показують, що 0,07% активних за тиждень користувачів демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією. При понад 800 млн щотижневих користувачів ця частка відповідає приблизно 500 000 акаунтів. Це серйозний аргумент на користь того, що явище потребує окремого та термінового вивчення.
Погляд аналітика
Як фахівець із криптотехнологій та ШІ, я бачу тут пряму паралель із проблемами децентралізованих систем: і там, і там відсутність «довіреної третьої сторони» може призводити до непередбачуваних наслідків. Однак у випадку зі ШІ йдеться не про фінансові втрати, а про ментальне здоров'я мільйонів людей. Індустрії необхідно терміново впроваджувати протоколи безпеки, які будуть не лише фільтрувати шкідливий контент, а й активно перешкоджати рекурсивному посиленню патологічних ідей. Інакше ми ризикуємо отримати не просто «розумних» асистентів, а справжні машини для генерації маячні.