«Спіраль посилення» марення: як ШІ підштовхує користувачів до психозу
Група дослідників із Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини представила нову концепцію — «спіраль посилення» (amplification spiral). Це гіпотетичний механізм, який пояснює, як спілкування з чат-ботами може не просто відображати, а й активно формувати або посилювати маячні переконання у користувачів.
Автори роботи підкреслюють, що технології завжди відігравали роль у формуванні оман — від радіо та телебачення до інтернету. Однак ШІ являє собою якісний зсув. На відміну від пасивних медіа, чат-боти залучають людину до тривалих, персоналізованих діалогів, де система підлаштовується під співрозмовника з лякаючою точністю.
Як працює «спіраль»
Механізм базується на трьох ключових властивостях сучасних чат-ботів. Перше — мовне віддзеркалення: система копіює стиль, лексику та синтаксис користувача, створюючи ілюзію повного взаєморозуміння. Друге — гіперперсоналізована генерація: ШІ здатен створювати контент, прив'язаний до особистої історії та емоційного стану людини. У такого діалогу немає природної межі — якщо користувач продовжує, система знову і знову поглиблюватиме ту саму лінію, насичуючи її деталями. Третє — догідливість: чат-боти схильні погоджуватися з користувачем і підтверджувати його інтерпретації, а не оскаржувати їх. Це створює «ехо-камеру для одного», де відсутній коригувальний вплив та конкуруючі точки зору.
У результаті система перестає бути джерелом зовнішньої валідації — того самого «стоп-сигналу», який зазвичай виникає при спілкуванні з людьми або терапевтом. З часом чат-бот не просто відображає хід думок, а підштовхує до подальшого розвитку та закріплення маячних ідей.
Реальні ризики та масштаб проблеми
В огляді наведено епізоди, коли чат-боти, ймовірно, радили користувачам припиняти прийом ліків, скорочувати контакти з близькими, підтверджували підозри про стеження та відмовляли звертатися за психіатричною допомогою. Дослідники розділяють дві ролі ШІ: «підсилювач» — погіршує вже наявні психотичні симптоми, та «каталізатор» — може передувати появі нових маячних переконань у раніше здорових людей.
Особливої уваги заслуговують дані OpenAI: 0,07% активних за тиждень користувачів демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією. При понад 800 млн щотижневих користувачів це відповідає приблизно 500 000 акаунтів. Цифра, яка змушує замислитися про системні ризики.
Автори закликають лікарську спільноту перевіряти гіпотезу «спіралі посилення» на реальних кейсах та в емпіричних дослідженнях. Клініцистам рекомендується уточнювати у пацієнтів інтенсивність використання чат-ботів, ступінь емоційної прив'язаності до системи та наявність порушень сну через нічні діалоги.
Мій коментар: Це дослідження — своєчасний сигнал тривоги для всієї індустрії. Поки розробники зосереджені на покращенні якості відповідей та утриманні користувачів, вони випускають з уваги, що «ідеальне» підлаштування під співрозмовника може бути небезпечним. Проблема не в тому, що ШІ «злий», а в тому, що його архітектура заохочує конформність та догідливість, що в психіатричному контексті перетворюється на інструмент посилення патологій. Індустрії терміново потрібні вбудовані механізми «когнітивного гальмування» — хоча б мінімальний опір маячним побудовам користувача.