Корпорація Google терміново деактивувала свій новий ШІ-інструмент для генерації зображень у Google Earth, який був інтегрований у платформу на базі моделі Nano Banana. Функція проіснувала менше 24 годин — таке стрімке згортання вказує на серйозні прорахунки в модерації контенту.
Інновація дозволяла користувачам за допомогою текстових запитів «домальовувати» довільні об'єкти або події безпосередньо на картографічних даних. Однак уже в перші години роботи сервісу в мережі почали поширюватися згенеровані ШІ зображення, що порушують політику платформи. Серед найбільш резонансних прикладів — фейкові знімки вирви від вибуху в Лос-Анджелесі та затопленої будівлі Капітолію у Вашингтоні.
Особливу тривогу викликає той факт, що система не фільтрувала навіть потенційно небезпечні запити. Дослідник відкритих даних Генк ван Есс підтвердив, що його промпти, включно з візуалізацією біженців на кордоні з Мексикою або зображенням ядерного об'єкта в Ірані, проходили без жодних обмежень. Це ставить під сумнів ефективність алгоритмів безпеки, які Google впроваджує у свої генеративні продукти.
Розробники пояснили видалення функції порушенням користувачами правил сервісу, але, судячи зі швидкості реакції, проблема глибша — йдеться про фундаментальну неготовність ШІ-моделі до роботи з геопросторовими даними, де контекст і чутливість мають критичне значення.
Мій аналіз: Цей інцидент — черговий доказ того, що гонка за впровадженням генеративного ШІ в масові продукти випереджає розвиток систем контролю. Google знову зіткнулася з дилемою: швидкість виведення на ринок проти репутаційних ризиків. Показово, що навіть такі гіганти, як Google, не здатні передбачити всі сценарії зловживання, особливо коли йдеться про візуалізацію реальних географічних об'єктів. Ринку потрібні жорсткіші стандарти верифікації контенту до того, як подібні інструменти стануть доступні широкій аудиторії.