Cloudflare「内容独立日」：新域名默认阻断 AI 爬虫

2025 年 7 月 1 日，Cloudflare 宣布「内容独立日」（Content Independence Day）：即日起新开通域名默认阻止全部 AI 爬虫，站长必须显式放行，AI 爬虫才能抓取内容。此前该开关虽然早已存在，但默认值是允许；这一次，全球最大的 CDN 与域名服务商把“允许 AI 抓取”从默认开改成了默认关，相当于替数量庞大的新站长作出了首次表态。

同日 Cloudflare 开放 Pay Per Crawl 私有测试：被拒绝的爬虫请求会收到 HTTP 402 Payment Required 应答，可按请求付费换取访问许可，把抓取授权变成可交易的市场机制。官方给出的理由是：AI 摘要与聊天机器人让“引用”越来越不产生点击，出版方流量与收入脱钩，抓取与回报需要重新挂钩。政策此后的演变另见Cloudflare 内容独立政策演变。

GEO 含义

抓取默认值翻转意味着“被 AI 引用”从自然状态变成可被基础设施层撤销的许可，GEO 的第一步从优化内容前移到守住AI 爬虫通道与访问控制配置。