Cloudflare по умолчанию блокирует AI-ботов и предлагает новые возможности контроля и монетизации для сайтов

Cloudflare блокирует AI-ботов по умолчанию

Компания Cloudflare объявила, что теперь по умолчанию будет блокировать AI-ботов, которые пытаются сканировать сайты, размещённые на её платформе. Эта политика направлена на то, чтобы дать владельцам сайтов больше контроля над сбором данных AI.

Контроль клиентов над AI-краулерами

Клиенты Cloudflare смогут вручную разрешать или блокировать AI-ботов на индивидуальной основе. Кроме того, Cloudflare запускает сервис «pay-per-crawl», который позволяет владельцам сайтов получать вознаграждение за каждый случай сканирования их контента AI-ботами.

Роль AI веб-краулеров

AI-боты — это специальные веб-краулеры, которые собирают данные с сайтов для обучения AI-моделей. В отличие от традиционных краулеров поисковых систем, эти AI-боты часто не указывают оригинальных авторов и не предоставляют возможности монетизации, что вызывает напряжённость между создателями контента и разработчиками AI.

Изменение динамики использования веб-контента

Уилл Аллен, руководитель департамента AI-приватности и медиапродуктов Cloudflare, отмечает, что традиционная модель, когда поисковики индексировали контент и направляли трафик обратно на сайты, меняется. Теперь AI-модели широко используют данные из интернета без взаимных выгод для создателей.

Гибкие настройки для владельцев сайтов

Cloudflare позволяет клиентам решать, как AI-боты могут взаимодействовать с их сайтами на разных этапах жизненного цикла AI — обучении, донастройке и выводе. Подтверждённые краулеры можно внести в белый список, а также устанавливать цену за сканирование.

Поддержка медиа и сообществ

Медиа-компании, такие как Associated Press, Time, а также платформы Quora и Stack Overflow поддержали инициативу Cloudflare. Генеральный директор Stack Overflow подчеркнул важность компенсаций для сообществ, которые способствуют развитию больших языковых моделей.

Борьба с нарушениями и вредоносными краулерами

Хотя краулеры должны соблюдать инструкции сайтов (robots.txt), некоторые AI-компании игнорируют эти правила. Система верификации ботов Cloudflare помогает выявлять легитимных AI-краулеров и налаживать сотрудничество. Для вредоносных ботов компания применит опыт борьбы с атаками отказа в обслуживании.

Инновационные методы борьбы с нежелательными краулерами

Ранее Cloudflare внедрила методы, например, перенаправление нежелательных краулеров на сгенерированные AI фейковые страницы, чтобы тратить их ресурсы впустую. Эти методы останутся для плохих акторов, но новая политика направлена на улучшение отношений между AI-компаниями и владельцами контента.

Опасения по поводу исследований и некоммерческого использования

Некоторые эксперты предупреждают, что блокировка AI-ботов по умолчанию может затруднить некоммерческое использование, например, научные исследования и веб-архивирование. Не все AI-системы коммерческие или конкурируют с издателями, поэтому важно сохранять открытый доступ для таких целей.

Баланс между открытостью и монетизацией

Cloudflare стремится сохранить открытость интернета, помогая издателям заключать устойчивые соглашения с AI-компаниями. Верификация краулеров и гибкий контроль позволяют владельцам сайтов держать доступ открытым для реальных пользователей, эффективно управляя трафиком AI-ботов.

Уилл Аллен описал это как предоставление более точного контроля владельцам сайтов для уравновешивания инноваций AI и прав создателей контента.