Корпорація Google була змушена в екстреному порядку деактивувати свій новий ШІ-генератор зображень, інтегрований у Google Earth на базі моделі Nano Banana. Інструмент проіснував менше 24 годин — такий стрімкий відкат свідчить про серйозні прорахунки в модерації контенту.

Суть функції полягала в тому, щоб за текстовим запитом користувача домалювати довільні об'єкти або події в будь-яку точку карти. Однак уже в перші години після запуску в мережі почали поширюватися згенеровані нейромережею фейкові зображення, що зображали, наприклад, вирву від вибуху в Лос-Анджелесі або затоплений Капітолій США. Подібний контент грубо порушує правила сервісу, що й стало формальним приводом для відключення.

Показовою є реакція дослідника відкритих даних Генка ван Есса, який під час тестування виявив, що його запити — від створення зображення біженців на кордоні з Мексикою до візуалізації ядерного об'єкта в Ірані — не блокувалися системою взагалі. Це прямо вказує на відсутність адекватних фільтрів безпеки на етапі первинного запуску.

Ситуація вкотре демонструє фундаментальну проблему великих мовних моделей: генеративні алгоритми, навчені на величезних масивах даних, не здатні самостійно оцінювати етичний і політичний контекст своїх "творінь". Для Google, яка активно просуває свої ШІ-рішення в корпоративному та споживчому сегментах, такий інцидент — репутаційний удар, який може змусити компанію переглянути темпи впровадження подібних функцій у геосервіси.

Мій погляд: Це не поодинокий збій, а системна закономірність. Поки розробники ставлять на чільне місце швидкість виведення продукту на ринок, а не якість цензури, подібні інциденти повторюватимуться. Урок для всієї індустрії простий: перш ніж давати ШІ доступ до геопросторових даних, необхідно в десять разів посилити механізми контент-фільтрації, інакше довіра користувачів буде підірвана остаточно.