CDN 与缓存对 AI 抓取的影响档案

robots.txt 是协议层，CDN 是执行层——2025 到 2026 年，AI 抓取控制的重心明显从前者滑向后者。本页聚焦既有档案没展开的三件事：付费抓取在协议层的完整技术流（402 加微支付头）、两个进攻性边缘功能（AI Labyrinth 与代管 robots.txt），以及一个被低估的被动变量——Applebot 官方承认的缓存行为，它给「改版之后 AI 为什么还在引用旧内容」提供了新的解释框架。Cloudflare 默认封锁的时间线与三代方案演进不在本页重复，见爬虫访问控制档案。

402 加 X-Pay：付费抓取的完整技术流

Pay Per Crawl 把「放行与否」变成「价格问题」，协议侧的完整技术流值得单独拆一遍：爬虫无付费意图访问付费 URL，源站返回 HTTP 402（Payment Required，这个沉睡了近三十年的状态码找到了第一个规模化用途）与 crawler-price 响应头（报价）；爬虫侧经注册走 X-Pay 微支付通道完成付费——X-Pay 基于 Web Monetization 标准，付费意图随请求头传递；免费、付费、封锁三种姿态按路径配置，同一站点可以对不同目录执行不同策略。定价有一条官方下限：每请求 0.01 美元。三态按路径配置的设计含义值得记一笔：它让「训练数据收钱、检索入口免费放行」这类混合策略在边缘层成为配置项而非定制开发。402 协议的现势（private beta、强制 Web Bot Auth 认证）与商业面评估见爬虫访问控制档案。

AI Labyrinth 与代管 robots.txt：边缘层的两个进攻性功能

AI Labyrinth（2025-03-19 上线，opt-in）是第一个把「消耗爬虫资源」做成产品的功能：对无视 robots.txt 的爬虫，Cloudflare 不再直接封锁，而是把它们引进一条 AI 生成诱饵页构成的迷宫——爬虫每多爬一层，消耗的是它自己的预算，源站真实页面反而省了流量。它标记了拦截思路的转向：从「挡在门外」变成「让违规抓取变得昂贵」。

代管 robots.txt（2025-07）是更微妙的一步：Cloudflare 可以为站点代生成并托管 robots.txt，注入 AI 禁抓规则。这件事的实质是 robots 控制权首次第三方化——协议文件本来是站长意志的表达，托管之后，写什么规则、给谁放行，变成了平台默认值加站点开关。对没有工程团队的小站点这是减负，对需要精细分组的站点则要警惕默认值盖过自己的意图：robots.txt 的语法语义与具名组写法见robots.txt AI 配置矩阵，接手前先对一遍矩阵。

三个进攻性功能放进一张表，定位差异一目了然：

三者的共同前提是边缘层握有流量入口，共同代价是站长把一部分判断权让渡给了平台的分类器——平台认谁是 AI 爬虫，谁就会被这三套机制处理，误判的申诉路径在边缘平台而不在协议层。

robots.txt 本身的缓存语义在这里也要重提一次：robots.txt 有缓存周期，变更不是即时生效——这条协议层的常识与代管方案叠加后多出一层含义：托管方注入规则的生效与回滚，同样受缓存周期约束，切换期间的放行/拦截状态要按「最长缓存周期」做保守估计。

Applebot 承认缓存：改版后 AI 读旧版的新解释变量

Applebot 官方文档有一条常被略过的原话：它会自动缓存已抓内容以减少不必要的抓取。放在搜索时代，这是性能优化；放在 AI 时代，它是答案新鲜度问题的协议层源头——如果抓取侧有缓存，AI 侧读到「旧版本页面」就不再是猜测而是设计行为。由此可以推出一个此前只能归因于玄学的解释框架（后半段为机制推断）：站点改版后，搜索侧的快照更新节奏与 AI 侧的缓存失效节奏并不同步，后者更新慢于前者，「改版后排名/引用迟迟不动」的观察窗因此要按两条时间轴分别计量。这与站内「新鲜度-索引」的机制分析互为补充；爬取与回流的量级差数据另见Anthropic 爬取回流比约 38000:1。

边缘配置错误的放大效应

CDN 是 AI 爬虫进站的第一站，也是配置事故的第一现场。两类高频事故值得单列：其一，404 与缓存配置错误对 AI 抓取的放大——错误状态码会让爬虫的预算分配系统性失真，Vercel 口径的量化交换比已有专卡，本页不重述数字，见Cloudflare 750x 与 30000x 交换比；其二，边缘认证是识别真伪爬虫的唯一可靠层——UA 可伪造，IP 反解与官方验证 JSON 才是凭证，操作细节见爬虫日志验证方法档案。把这两类事故放进同一节的原因是它们共享一个教训：边缘层配置错误的受害者名单里，AI 爬虫只是最先出现的那批——同一条错误规则同样影响搜索引擎与真实用户，AI 抓取异常常常是全站配置问题的前哨信号。

对站长的操作清单

1. 评估 Pay Per Crawl 前先画路径三分图：哪些目录免费放行、哪些按 0.01 美元/请求收费、哪些直接封锁——三态按路径配置，不要全站一刀切。
2. AI Labyrinth 类诱饵功能只对「无视 robots.txt 的爬虫」开启，对遵守协议的具名爬虫保持放行，否则误伤成本高于收益。
3. 若使用代管 robots.txt，每次平台更新默认值后重新对照配置矩阵逐组核一遍，确认平台默认没有覆盖你的分爬虫策略。
4. 把「改版后观察窗」拆成两条时间轴：搜索侧看索引更新，AI 侧把 Applebot 缓存时滞计入，观测周期按更长的一轴设定。
5. CDN 层给 AI 爬虫单列一组监控指标：状态码分布、缓存命中率、按 UA 分组的 404 率——异常先查边缘配置再怀疑算法。
6. 边缘封锁决策一律基于 IP 反解与验证 JSON，不做纯 UA 判断。

限制与待核实

• Pay Per Crawl 仍为 private beta，X-Pay 微支付通道的实际结算规模、参与爬虫数量无官方数字。
• 「AI 侧缓存更新慢于搜索侧」中「慢于」为机制推断，Applebot 官方只承认缓存行为本身，未公布失效周期。
• AI Labyrinth 对爬虫方实际造成的成本消耗无第三方量化数据。
• 代管 robots.txt 的注入规则明细随平台版本变动，本页不逐条转录，以 Cloudflare 文档现势为准。