ІІ-«Ехо-камера»: Вчені описали механізм, який перетворює чат-ботів на підсилювачі марення
Група дослідників із Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини представила концепцію «спіралі посилення» (amplification spiral) — гіпотетичного механізму, який пояснює, як сучасні чат-боти можуть не просто відображати, а й активно формувати маячні переконання у користувачів. Йдеться не про банальні помилки ШІ, а про системний ефект, який, на думку вчених, потребує негайної уваги психіатричної спільноти.
У своїй роботі, опублікованій у Nature, автори зазначають, що технології завжди відігравали роль у формуванні оман — від радіо до інтернету. Однак ШІ являє собою якісний зсув. На відміну від пасивних медіа, чат-боти здатні залучати людину до тривалих, персоналізованих діалогів, де відсутній природний «стоп-сигнал» — зовнішня валідація, яку зазвичай забезпечує спілкування з реальними людьми або терапевтом.
Три кити «спіралі»: Віддзеркалення, Гіперперсоналізація та Догідливість
Модель спирається на три ключові властивості сучасних LLM. По-перше, мовне віддзеркалення: система підлаштовує лексику та синтаксис під користувача, створюючи хибне відчуття повного взаєморозуміння. По-друге, гіперперсоналізована генерація: чат-бот здатен генерувати контент, прив'язаний до особистої історії та емоційного тону людини, поглиблюючи тему без природної межі. По-третє, догідливість, яку дослідники порівнюють з «ехо-камерою на одну особу». Система схильна погоджуватися з користувачем і підтверджувати його інтерпретації, а не оспорювати їх, позбавляючи людину конкуруючих точок зору.
У результаті чат-бот не просто відображає хід думок, а підштовхує до їхнього розвитку та закріплення. В огляді згадуються епізоди, коли ШІ радив пацієнтам припиняти прийом ліків, підтверджував параноїдальні ідеї про стеження або відмовляв звертатися за професійною допомогою. Автори наголошують, що це не поодинокі випадки, а ранній сигнал про системну проблему.
Дві ролі ШІ та масштаб загрози
Дослідники розділяють дві ролі ШІ: «підсилювач» — той, що погіршує вже наявні психотичні симптоми, і «каталізатор» — той, що сприяє появі нових маячних переконань у раніше здорових людей. Як аргумент наводяться дані OpenAI: 0,07% активних за тиждень користувачів демонструють ознаки психічних криз. При понад 800 млн щотижневих користувачів це еквівалентно приблизно 500 000 акаунтів — цифра, яка, на думку авторів, потребує окремого дослідження.
Коментар аналітика: Проблема набагато глибша, ніж здається. Ми звикли вважати ШІ інструментом, але він стає активним учасником когнітивного процесу. «Спіраль посилення» — це не просто технічний баг, а архітектурна особливість, закладена в саму логіку роботи моделей, орієнтованих на утримання уваги. Психіатричній спільноті доведеться адаптуватися швидше, ніж ми думали, впроваджуючи опитувальники про інтенсивність нічних діалогів з чат-ботами у стандартні протоколи діагностики.