Корпорація Google була змушена в екстреному порядку вимкнути ШІ-генератор зображень на базі моделі Nano Banana, інтегрований у Google Earth. Інструмент проіснував менше ніж 24 години — таке стрімке згортання функціоналу свідчить про серйозні прорахунки в модерації контенту на етапі запуску.

Суть нововведення полягала в тому, що користувачі могли за допомогою текстового запиту «домальовувати» на карті будь-які об'єкти чи події. Однак уже в перші години роботи механізм став джерелом відверто деструктивного контенту. У мережі миттєво поширилися згенеровані зображення, що зображали вирву від вибуху в Лос-Анджелесі та затоплений Капітолій США. Це не просто технічний збій, а пряма загроза інформаційній безпеці, враховуючи вірусний потенціал подібних фейків.

Показовою є й реакція професійної спільноти. Дослідник відкритих даних Генк ван Есс під час тестування виявив, що його запити, включно з генерацією сцен із біженцями на кордоні з Мексикою та зображень ядерного об'єкта в Ірані, не зустрічали жодних блокувань. Це вказує на те, що системи фільтрації або були відсутні, або були налаштовані настільки поверхово, що не розпізнавали навіть очевидно чутливі теми.

Розробники пояснили видалення інструменту тим, що користувачі публікували створені ШІ картинки, які порушують правила сервісу. Однак таке формулювання виглядає радше спробою згладити гострі кути — проблема не в поведінці юзерів, а в архітектурі безпеки самого продукту, який був випущений без належної перевірки на вразливості.

Моя оцінка: Цей інцидент — чергове нагадування про те, що гонка за впровадженням генеративних моделей у масові продукти часто випереджає розробку адекватних механізмів контролю. Для Google, який позиціонує себе як відповідального лідера у сфері ШІ, такий провал є особливо репутаційно болючим. Ринок і регулятори дедалі уважніше стежать за подібними кейсами, і поспіх із релізом може обернутися не лише технічними, а й юридичними наслідками.