Інцидент на горі Шаста в Каліфорнії знову порушує питання про межі довіри штучному інтелекту у справах, де ціна помилки — здоров'я та життя. Троє туристів, які готували сходження за допомогою чат-бота Gemini від Google, зіткнулися з серйозними наслідками недооцінки маршруту. Нейромережа, як виявилося, рекомендувала групі взяти з собою значно менше провізії та води, ніж було потрібно для реального підйому.
Запланований час сходження становив вісім годин, однак фактичний підйом розтягнувся на 16. Туристи почали спуск уже в темряві, що призвело до травми коліна в одного з учасників. У підсумку група збилася зі шляху та була змушена провести ніч у каньйоні, перш ніж рятувальники змогли надати їм допомогу та супроводити до початку стежки.
Небезпечна самовпевненість алгоритмів
Цей випадок — не поодинокий приклад, а симптом ширшої проблеми. Сучасні мовні моделі, включно з Gemini, чудово справляються з генерацією тексту та аналізом даних, але їхні «знання» про реальні фізичні навантаження, погодні умови та особливості конкретної місцевості часто мають усереднений або застарілий характер. Алгоритм не враховує індивідуальну фізичну підготовку, поточний стан стежки та інші критичні змінні, які досвідчений рейнджер оцінив би на місці.
Офіс шерифа округу Сискію, який проводив рятувальну операцію, наголосив на необхідності перехресної перевірки будь-якої інформації, отриманої від ШІ, у місцевих експертів. Це абсолютно правильний підхід: ШІ має бути інструментом для первинного аналізу, а не кінцевим авторитетом у питаннях безпеки.
Мій погляд як аналітика: Ринок ШІ-рішень для туризму та активного відпочинку зростає, але розробникам варто впроваджувати чіткі дисклеймери та обмеження в таких сценаріях. Доти, поки моделі не навчаться інтегрувати реальні дані з датчиків, прогнозів погоди та актуальних звітів спільноти, покладатися на них в екстремальних умовах — це ризик, який може коштувати надто дорого. Інцидент на Шасті — яскраве нагадування, що технологія поки що не замінить людський досвід і здоровий глузд.