Google у рекордно короткі терміни згорнула запуск ШІ-генератора зображень на базі моделі Nano Banana, інтегрованого в Google Earth. Інструмент проіснував менше доби — таке стрімке відкочування свідчить про серйозні прорахунки в модерації контенту на етапі тестування.
Суть функції полягала в тому, щоб за текстовим запитом домальовувати будь-які об'єкти або події прямо на карті — від історичних сцен до гіпотетичних катастроф. Однак уже за кілька годин після релізу в мережі почали поширюватися згенеровані зображення, що порушують правила сервісу. Серед найбільш вірусних прикладів — фейкові знімки вирви від вибуху в Лос-Анджелесі та затопленої будівлі Капітолію США.
Особливу тривогу викликає той факт, що модель не фільтрувала навіть найчутливіші запити. Дослідник відкритих даних Генк ван Есс під час власного тестування підтвердив: промпти, пов'язані із зображенням біженців на кордоні з Мексикою або ядерних об'єктів на території Ірану, проходили без жодних блокувань. Це прямий доказ того, що система безпеки була або вимкнена, або не встигла пройти належне калібрування перед публічним запуском.
Розробники пояснили видалення генератора тим, що користувачі масово публікували створений контент, який порушує політику платформи. Однак таке формулювання виглядає як спроба пом'якшити репутаційну шкоду: проблема не в поведінці юзерів, а у відсутності вбудованих обмежень на рівні самої моделі.
Цей інцидент — черговий сигнал для всієї індустрії. Поспіх із виведенням ШІ-продуктів на ринок без жорстких механізмів цензури призводить до зворотного ефекту: замість залучення аудиторії компанії отримують хвилю негативу та змушені відкочувати релізи. Google варто було б винести урок із цього провалу й надалі впроваджувати генеративні функції з багаторівневою фільтрацією ще до потрапляння в руки користувачів.
Мій коментар: Ситуація показова: навіть гігант із величезними ресурсами не здатен гарантувати безпеку ШІ-генерацій без попереднього стрес-тестування на реальних сценаріях. Ринок чекає не швидкості, а надійності — і цей випадок стане кейсом для вивчення в усіх лабораторіях, які працюють із генеративними моделями.