Cloudflare「内容独立日」公告：默认阻断 AI 爬虫

2025 年 7 月 1 日，Cloudflare 把一个行业争论变成了默认设置：所有新域名默认阻断 AI 爬虫，站点方可以退出。公告命名为“Content Independence Day（内容独立日）”，配套给出两组推算数字——从 OpenAI 获得与当年 Google 等量的引流，难度约是十年前的 750 倍；从 Anthropic 则难约 30000 倍（站内数据卡收录）。这是“AI 爬虫该不该默认放行”议题的分水岭事件。

公告改变了什么：默认值即立场

在此之前，站长对 AI 爬虫的姿态是“默认放行、逐个屏蔽”——robots.txt 的逻辑底座。Cloudflare 把默认值翻了过来：新域名默认挡 AI 爬虫，想被抓需主动放行。默认值的变化比任何倡议都有效，因为它作用于不设置的那大多数。底气来自体量：Cloudflare 网络后服务着超过 20% 的 Web 域名，它的默认开关接近行业标准开关。数字侧的论证则来自爬取/回流的失衡——公告系列数据里 Anthropic 爬取与回流比高达约 38000:1（数据卡，Cloudflare 年度研究另有分厂商数据，见《Cloudflare：AI 爬虫流量年度研究》）——“只取不予”的失衡是阻断政策的经济学依据。

政策的后续演进：从一刀切到按用途

公告之后的一年里政策三次细化，方向是从“AI 与否”转向“用途分类”：2026-07-01 起按 Search/Agent/Training 三类用途管理（Free 计划可用）；2026-09-15 起新域名上 Training 与 Agent 类爬虫在展示广告页面默认被阻断、Search 类保持放行，且多用途爬虫（Googlebot/Applebot 等兼任搜索与训练）按最严规则执行——屏蔽 Training 连搜索抓取一起挡。这组演进对站方的推论很直接：放行策略要按爬虫逐个配（谁在搜索链路上、谁在训练链路上，见AI 爬虫全景档案），并与 robots.txt 层的配置对齐，两层默认值打架是最常见事故。

局限与读法

三条边界：其一，750x/30000x 是厂商推算口径（模型假设：等量流量的爬取成本比），方向服务于其商业模式，引用保留“官方推算”前缀；其二，默认阻断只覆盖 Cloudflare 新域名，存量站点与非 Cloudflare 站点不受影响，不能读成“AI 爬虫已被全网封杀”；其三，按用途分类的执行依赖对爬虫意图的判定，判定错误会误伤——把官方分类当参考系而非真理。这则公告的长期意义在于把“内容与 AI 平台的价值交换”推上了行业议程：抓取要付钱（后续的 Pay Per Crawl 即其延伸，见《Cloudflare Pay Per Crawl 发布》），GEO 的“曝光换引流”叙事从此多了一个需要回答的对价问题。