#robots.txt

Cloudflare утверждает, что Perplexity скрывала бот, чтобы скрейпить сайты, отказавшиеся от индексации, что вызвало споры о доступе AI к онлайн-контенту и будущем монетизации издателей