Cloudflare вводить тотальне блокування «гібридних» ШІ-краулерів: новий стандарт захисту контенту
З 15 вересня провайдер мережевої інфраструктури Cloudflare вводить автоматичне блокування всіх «змішаних» веб-краулерів на базі штучного інтелекту. Це рішення кардинально змінює правила гри для видавців та власників сайтів, які довгий час боролися з неконтрольованим збором даних.
Під блокування потрапляють боти, які одночасно використовуються для пошукової індексації, навчання моделей та функціонування ІІ-агентів. Cloudflare вимагає чіткого розділення функцій: пошукові краулери, навчальні системи та агентні рішення повинні працювати незалежно одне від одного.
Чому це важливо для ринку
Представники компанії підкреслюють, що видавці хочуть зберігати видимість у пошукових системах та ІІ-сервісах, але більше не готові безкоштовно віддавати свій контент. Ми спостерігаємо фундаментальний зсув: інтернет рухається від епохи SEO до AEO (оптимізація для систем відповідей), а потім і до GEO (оптимізація для генеративного ІІ). Як зазначається в заяві Cloudflare, «Інтернет ризикує перейти до екосистеми “нульового кліку”, де чат-боти збирають оригінальний контент для миттєвих відповідей, повністю оминаючи першоджерела».
Понад 50% трафіку від ІІ-краулерів — це повторне сканування сторінок, яке рідко приносить користь. Новий захід не лише захищає контент, але й знижує навантаження на інфраструктуру веб-сторінок. Зміна торкнеться нових клієнтів Cloudflare, сайтів діючих користувачів та всіх клієнтів безкоштовного тарифу. Власники хостингів зможуть вимкнути блокування вручну, але це вимагатиме свідомого вибору.
Комерційна модель для видавців
Паралельно Cloudflare запускає систему Pay Per Use — комерційну схему, яка передбачає оплату не лише за доступ до матеріалу, але й у випадках, коли контент має цінність для ІІ-сервісу. На першому етапі компанія працює з Ceramic.ai та You.com. Видавці отримують виплати, якщо їхні матеріали з'являються в пошуковій видачі чат-ботів.
Експертний коментар: Це рішення — логічний крок в умовах фрагментації інтернету. Cloudflare фактично створює прецедент, який може стати галузевим стандартом. Видавці отримують інструмент для монетизації, а ІІ-компанії — чіткі правила гри. Однак залишаються питання: як перевірятимуть дотримання «чистоти» ботів і чи не призведе це до нових технічних бар'єрів для легітимних розробників.