Cloudflare 内容独立政策演变

Cloudflare 托管着全球超两成 Web 域名的流量，它的默认策略变化等于一次大规模的“AI 爬虫准入政策调整”。本卡只记政策演变链（2025-07 → 2026-07 → 2026-09）；各规则怎么配置在技术栏展开（见爬虫访问控制），本卡不重复。

政策要点

• 2025-07-01「Content Independence Day」：Cloudflare 宣布所有新域名默认阻断 AI 爬虫（可退出）。官方博客引用 CEO Matthew Prince 的计算：从 OpenAI 获得等量流量比十年前从 Google 获得难约 750 倍、从 Anthropic 难约 30000 倍。
• 2026-07-01 二代方案：策略从“一刀切阻断”转为按三类用途管理——Search / Agent / Training（Free 计划可用）；企业版 BotBase 另设 8 个类目：Transact、Data Collection、Security Testing、SEO、Ads Verification、Social/Link Preview、Feed Fetching、Monitoring & Operations。
• 2026-09-15 新默认：新域名上 Training 与 Agent 爬虫在展示广告的页面默认被阻断，Search 保持放行；多用途爬虫（Googlebot、Applebot、Bingbot 等兼任搜索与训练的爬虫）按最严规则执行——屏蔽 Training 类则连 Googlebot 一并受控。「Verified」语义同步变更：不再等于默认放行，按类目决定；完整复刻内容的爬虫不能成为 Verified，违规除名。
• 配套机制：Content Signals 偏好表达落地为 robots.txt 的 use= 字段（分级 immediate / reference / full），与 IETF aipref 草案构成偏好表达的竞争路线（见aipref 术语卡）；Pay Per Crawl 处于 private beta——HTTP 402 加 crawler-price 头的计费协议、参与爬虫须过 Web Bot Auth 认证，Cloudflare 任 Merchant of Record。

覆盖与不覆盖

覆盖：Cloudflare 网络上域名的 AI 爬虫默认访问策略、Verified 准入语义与商业化机制。不覆盖：robots.txt 标准语义——Content Signals 以 robots.txt 扩展字段表达偏好，但 Google 已明确标准本身无法单方修改（见Google REP 立场卡）；Cloudflare 的默认策略是网络层配置，不是法律或行业标准。

对 GEO 行业的含义

超两成 Web 域名的默认访问策略收紧，直接压缩 AI 引擎的训练与检索语料面；对内容方而言，“被不被 AI 爬”日益变成托管配置问题而非仅 robots 声明问题。政策仍在动态演变，本卡追踪默认策略层，不预测走向。

限制与待核实

750 倍与 30000 倍为 Cloudflare 官方博客口径（Prince 计算），非第三方审计；Pay Per Crawl 的参与者数量、收入与转正时间官方未公布；8 类目与三用途模型在各订阅计划的具体可用性以官方文档为准。