Cloudflare 内容独立日一周年：AI 爬虫管理转向按用途分项

2026 年 7 月 1 日，Cloudflare 在“内容独立日”一周年节点发布分用途的 AI 爬虫管理能力：站长对 AI 爬虫的控制从“整站允许/阻断”的二值开关，升级为按用途分项授权——训练（Training）、搜索（Search）、Agent 等用途可以分别设置允许、阻断或收费，回应了“同一家爬虫既做搜索索引又做模型训练”带来的用途混淆问题。配套的 Pay Per Crawl（HTTP 402 付费抓取协议）继续以 private beta 推进。

日期口径说明：部分材料把“Pay Per Crawl 发布”记在 2026-07-01，官方口径其首发于 2025 年 7 月（与默认阻断公告同期）；2026-07-01 这个节点的增量是按用途分类管理，本卡以官方发布日为准。这次升级也是后续 9 月 15 日新默认的前置铺垫——用途可分项，默认值才能按用途收紧。

GEO 含义

内容可见性策略从“一揽子开关”进入“按用途授权”阶段：同一家引擎的搜索爬虫与训练爬虫从此可能一个放行一个拦截，GEO 的语料供给与搜索引用要分别配置、分别验证。政策演变链见Cloudflare 内容独立政策卡，配置实操见爬虫访问控制档案。