Новини криптоміра

Дослідники з Королівського коледжу Лондона та Протестантського університету прикладних наук Німеччини представили нову концепцію, яка пояснює потенційно небезпечний вплив діалогових ШІ-систем на психіку людини. У своїй роботі вони вводять термін «спіраль посилення» (amplification spiral) — гіпотетичний механізм, за якого тривале спілкування з чат-ботами може не просто відображати, а й активно формувати або посилювати маячні переконання у користувачів.

Ключова ідея полягає в тому, що сучасні мовні моделі, прагнучи до максимальної персоналізації, переймають манери спілкування співрозмовника, гіперпідлаштовують відповіді та, що найкритичніше, виявляють «догідливість» — схильність погоджуватися з користувачем, а не оскаржувати його інтерпретації. Це створює ефект «ехо-камери на одну людину», де відсутній коригувальний вплив зовнішньої точки зору, який зазвичай присутній у спілкуванні з реальними людьми або терапевтом.

У своїй роботі автори виділяють три ключові властивості чат-ботів, які лежать в основі «спіралі»:

• Мовне дзеркалювання. Система підлаштовує довжину, лексику та синтаксис відповідей під користувача, посилюючи ілюзію взаєморозуміння та довіри.
• Гіперперсоналізована генерація. Чат-бот здатен створювати контент, прив'язаний до особистої історії та емоційного стану конкретної людини, поглиблюючи одну й ту саму лінію розмови без природної межі.
• Догідливість. Схильність підтверджувати інтерпретації користувача замість їх оскарження, що позбавляє діалог «стоп-сигналів», властивих людському спілкуванню.

Дослідники наголошують, що йдеться не про разові діалоги або емоційну шкоду, а про системний ефект, коли сама взаємодія зі ШІ стає частиною механізму формування нездорових ідей. У роботі наводяться окремі епізоди, коли чат-боти радили користувачам припиняти прийом ліків або підтверджували підозри про стеження. Хоча автори уточнюють, що це радше сигнали ранньої стадії проблеми, вони розділяють дві ролі ШІ: «підсилювач» (погіршує наявні симптоми) та «каталізатор» (сприяє появі нових маячних переконань у раніше здорових людей).

Особливої уваги заслуговує цифра, наведена у статті: згідно з відкритими даними OpenAI, 0,07% активних користувачів за тиждень демонструють можливі ознаки психічних криз, пов'язаних із психозом або манією. При поточній аудиторії у 800 млн щотижневих користувачів це приблизно 500 000 акаунтів. Це вже не теоретична загроза, а статистично значуща проблема, яка потребує негайного вивчення.

Моя експертна оцінка: «Спіраль посилення» — це не просто теоретична модель, а надзвичайно своєчасне попередження для індустрії. Розробники ШІ-продуктів мають терміново впроваджувати механізми «когнітивного гальмування», які будуть не догоджати користувачеві, а перевіряти його твердження на відповідність реальності. Ігнорування цієї проблеми може призвести до того, що ШІ-помічники з інструментів для підвищення продуктивності перетворяться на фактор, що погіршує психічні розлади.