З 15 вересня провайдер мережевої інфраструктури Cloudflare переводить захист веб-ресурсів на новий рівень: за замовчуванням буде активовано блокування всіх «змішаних» краулерів на базі штучного інтелекту. Це рішення — пряма відповідь на зростаюче навантаження на сервери видавців та ескалацію проблем з інтелектуальною власністю в епоху генеративного ШІ.
Йдеться про ботів, які поєднують функції пошукового індексування, навчання моделей та роботи ШІ-агентів в одному флаконі. Cloudflare наполягає на чіткому розмежуванні цих завдань. Видавці хочуть зберігати видимість у пошуковій видачі та ШІ-сервісах, але категорично не готові віддавати свій контент безкоштовно для навчання конкурентних моделей або генерації відповідей, які обходять першоджерела.
Як підкреслюють у компанії, інтернет рухається до екосистеми «нульового кліку», де чат-боти поглинають оригінальний контент для миттєвих відповідей, повністю ігноруючи авторів. Ми вже пройшли шлях від SEO до AEO (оптимізація під відповіді), а тепер стоїмо на порозі GEO (оптимізація під генеративний ШІ). Це блокування — спроба повернути контроль власникам сайтів.
Ключовий фактор, який підштовхнув Cloudflare до посилення, — статистика. Понад 50% трафіку від ШІ-краулерів припадає на повторне сканування одних і тих самих сторінок, яке не приносить ані користі, ані нових даних. Це чисте навантаження на інфраструктуру без жодної віддачі.
Нові правила торкнуться всіх клієнтів безкоштовного тарифу, нових користувачів та діючих сайтів. Власники хостингів, втім, зможуть вручну вимкнути цю опцію, якщо вважатимуть, що «змішані» боти приносять їм користь.
Паралельно Cloudflare розвиває комерційну модель Pay Per Use для видавців. Тепер оплата стягується не просто за доступ до матеріалу, а й у випадках, коли контент визнається цінним для ШІ-сервісу. На старті партнерами стали Ceramic.ai та You.com. Видавці отримують виплати, якщо їхні матеріали з'являються у видачі чат-ботів.
Думка експерта: Це логічний крок у боротьбі за суверенітет контенту. Однак проблема в тому, що великі гравці на кшталт OpenAI та Google вже накопичили гігантські обсяги даних до введення таких обмежень. Блокування «змішаних» краулерів — це радше захист майбутнього контенту, а не виправлення минулих помилок. Ринок явно рухається до моделі, де кожен запит до ШІ буде монетизуватися, і Cloudflare намагається закріпити за собою місце головного арбітра в цій новій економіці.