З 15 вересня 2024 року провайдер мережевої інфраструктури Cloudflare вводить автоматичне блокування всіх «змішаних» веб-краулерів на базі штучного інтелекту. Це рішення торкнеться сторінок, що обслуговуються через мережу компанії, і стане новою віхою в боротьбі за контроль над контентом в епоху генеративного ШІ.

Під «змішаними» розуміються боти, які одночасно використовуються для пошукової індексації, навчання мовних моделей та роботи ШІ-агентів. Cloudflare вимагає від розробників чіткого розділення цих функцій: пошукові, навчальні та агентні краулери мають бути ізольовані один від одного. Якщо один і той самий бот виконує всі три завдання, його буде заблоковано.

Причина такого посилення — зростаюче невдоволення видавців та власників сайтів. Вони хочуть зберігати видимість у пошукових системах та ШІ-сервісах, але не готові безкоштовно віддавати свій контент для навчання моделей та генерації миттєвих відповідей. Cloudflare зазначає, що інтернет ризикує перетворитися на екосистему «нульового кліку», де чат-боти збирають оригінальний матеріал, повністю оминаючи першоджерела. Ми спостерігаємо зсув від SEO до AEO (оптимізація під системи відповідей), а тепер і до GEO (оптимізація під генеративний ШІ).

Окрім захисту авторських прав, новий захід спрямований на зниження навантаження на інфраструктуру. За даними Cloudflare, понад 50% трафіку від ШІ-краулерів припадає на повторне сканування сторінок, яке рідко приносить реальну користь. Це створює надмірне навантаження на сервери, особливо для невеликих сайтів.

Зміни торкнуться всіх нових клієнтів Cloudflare, діючих користувачів, а також сайтів на безкоштовному тарифі. Власники хостингів зможуть вручну вимкнути блокування, якщо вважатимуть це за необхідне.

Паралельно компанія розвиває комерційну модель для видавців — Pay Per Use. Вона передбачає оплату не лише за доступ до контенту, але й за випадки, коли матеріал виявляється цінним для ШІ-сервісу. На першому етапі Cloudflare співпрацює з Ceramic.ai та You.com. Видавці отримують виплати, якщо їхні матеріали з'являються в пошуковій видачі чат-ботів.

Як аналітик, я бачу в цьому кроці логічне продовження тренду: інтернет-інфраструктура перестає бути нейтральною платформою та починає активно фільтрувати трафік. Cloudflare, контролюючи значну частку світового веб-трафіку, фактично стає регулятором у цій сфері. Питання в тому, наскільки такі заходи будуть ефективними проти постійно еволюціонуючих ШІ-ботів, і чи не призведуть вони до фрагментації мережі, яку ми вже спостерігаємо.