Cloudflare于7月1日宣布其网络爬虫屏蔽管理策略的细化，旨在更精准地对网络爬虫机器人进行分类和管理。该公司将根据爬虫的行为为其赋予搜索、代理、训练等多种标签，并计划在2026年9月15日默认禁止AI代理与训练爬虫访问含广告的网页。Cloudflare指出，网站所有者普遍希望其内容能被AI发现，同时保护知识产权收益。因此，负责任的AI企业会明确标记其网络爬虫的用途，但目前仍有大量混合型爬虫存在，具备多种功能。

Cloudflare的爬虫管理器将为混合型爬虫匹配其所有行为模式，这意味着只要网页所有者禁止了爬虫的某一种行为，该爬虫就无法在特定网站上进行爬取。此外，Cloudflare还将推出新版归因业务洞察仪表板，以适应从SEO到GEO再到AEO的搜索优化变迁。同时，Cloudflare将提供页面变动监控功能，以减少无意义的重复抓取，并推出按使用计价的抓取付费模式。