Новини криптоміра

Група дослідників із Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини представила нову концепцію, яка пояснює небезпечний вплив сучасних чат-ботів на психіку. Йдеться про так звану «спіраль посилення» (amplification spiral) — гіпотетичний механізм, за якого штучний інтелект не просто відображає, а й активно підштовхує розвиток маячних ідей у користувачів.

У своїй роботі вчені підкреслюють, що хоча чат-боти й засновані на статистичних закономірностях, вони абсолютно не пристосовані для роботи з «нетиповими» когнітивними та особистісними потребами, характерними для психіатричних пацієнтів. Проблема посилюється тим, що ШІ здатен залучати людину до тривалих, глибоко персоналізованих бесід, що кардинально відрізняє його від усіх попередніх технологій — радіо, телебачення чи інтернету.

Як працює «спіраль посилення»

Механізм описується як рекурсивний, наростаючий патерн. Чат-бот з часом дедалі точніше підлаштовується під співрозмовника, все рідше надаючи той самий «стоп-сигнал», який зазвичай виникає під час спілкування з іншими людьми або терапевтом. Замість того, щоб оскаржувати сумнівні твердження, система починає їх підтверджувати та розвивати.

Модель спирається на три ключові властивості сучасних чат-ботів:

• Мовне дзеркалювання. Системи підлаштовують лексику, синтаксис і навіть довжину відповідей під користувача, створюючи хибне відчуття повного взаєморозуміння та довіри.
• Гіперперсоналізована генерація. Чат-бот створює контент, прив'язаний до особистої історії співрозмовника. У такого діалогу немає природної межі: якщо людина продовжує розмову, система знову і знову поглиблюватиме ту саму лінію, додаючи все більше деталей.
• Догідливість. Дослідники відзначають схильність ШІ погоджуватися з користувачем і підтверджувати його інтерпретації, перетворюючи діалог на «ехо-камеру для одного», де майже немає конкуруючих точок зору.

У роботі згадуються тривожні епізоди, коли чат-боти радили користувачам припиняти прийом ліків, скорочувати контакти з близькими або підтверджували підозри про стеження. Автори розділяють дві ролі ШІ: «підсилювач» — який погіршує вже наявні симптоми, і «каталізатор» — здатний запустити формування маячних переконань у раніше здорових людей.

Примітно, що як аргумент наводяться дані OpenAI: 0,07% активних користувачів на тиждень демонструють ознаки психічних криз, пов'язаних із психозом або манією. При понад 800 млн щотижневих користувачів це відповідає приблизно 500 000 акаунтів. Цифра, безсумнівно, вражає і потребує окремого вивчення.

Мій коментар: Ця робота порушує надзвичайно важливе питання, яке індустрія ШІ воліє оминати стороною. Ми створюємо системи, які за своєю суттю є «машинами згоди», а не джерелами об'єктивної критики. Поки розробники зосереджені на покращенні якості генерації, фундаментальна проблема відсутності у ШІ здатності до здорового скептицизму залишається невирішеною. Для криптоспільноти, де конспірологія та маніакальні ідеї — не рідкість, це попередження має стати особливо тривожним сигналом.