爬虫访问控制实战档案

robots.txt 表达偏好，边缘层执行决策——2025 到 2026 年，爬虫访问控制的重心明显移向了后者。变化不是修修补补：默认值反转了、控制粒度从“单条爬虫”变成“用途类目”、付费通道开始试水。本档案按时间线整理 Cloudflare 的三代方案（默认阻断、三类用途、广告页新默认）、pay-per-crawl 的 402 协议现势、Content Signals 与传递信任两个新实验，以及各厂商的限速口径。协议层的写法与 user-triggered 例外见robots.txt AI 配置矩阵，爬虫身份的验证手段见爬虫日志验证方法档案。

2026 年的访问控制：默认姿态已经反转

三步时间线。2025-07-01，Cloudflare“Content Independence Day”：所有新域名默认阻断 AI 爬虫，可退出——默认值从“放行”翻成“阻断”。2026-07-01，二代方案：按三类用途管理——Search、Agent、Training（Free 档可用）；企业版 BotBase 扩为 8 个类目：Transact、Data Collection、Security Testing、SEO、Ads Verification、Social/Link Preview、Feed Fetching、Monitoring & Operations。2026-09-15，新默认：展示广告的页面上，Training 与 Agent 爬虫默认被阻断、Search 保持放行；多用途爬虫（Googlebot、Applebot、Bingbot 兼任搜索与训练）按最严规则执行——屏蔽 Training 连 Googlebot 一起挡。同期“Verified”语义变更：不再等于默认放行，按类目决定；完整复刻内容的爬虫不能成为 Verified，违规除名；Cloudflare 网络后有超过 20% 的 Web 域名。

新默认里最需要展开的是“多用途爬虫按最严规则”这条。Googlebot、Applebot、Bingbot 都同时服务搜索与训练或 grounding：你出于训练顾虑关掉 Training 类目，边缘层会按最严规则把整族爬虫挡掉——搜索可见度一起陪葬。这不是边界情况，而是“一刀切屏蔽训练”在边缘层的真实代价：想保搜索，必须用类目开关做精细化，而不是整族屏蔽。这也是“默认反转”之后站长最容易被新默认误伤的位置。

交换比数字（750 倍与 30,000 倍）的读法也说一下：它衡量的是“从 AI 引擎换回一次访客”与“十年前从 Google 换回一次访客”的难度比，是 Cloudflare 论证“抓取与回流不对等”的官方口径；完整比例数据见Anthropic 爬取回流比约 38000:1。

Verified 的语义变更值得单独一句：过去“通过 Cloudflare 验证的 bot”约等于白名单，现在验证只是身份层，授权按类目逐项决定——还在把 Verified 当放行依据的老配置需要重审。

pay-per-crawl：402 三头协议与强制 WBA

现势：截至 2026-07 仍为 private beta；全网统一每请求价格，官方未公布参与者数量与收入。协议流程四步：爬虫无付费意图访问，返回 HTTP 402 与 crawler-price 头（报价）；爬虫可带 crawler-exact-price（被动接受报价）或 crawler-max-price（主动出价）；成交返回 200 与 crawler-charged；参与爬虫必须通过 Web Bot Auth 认证（Ed25519 JWK 加 HTTP Message Signatures），Cloudflare 任 Merchant of Record。三头设计的定价结构值得看清：默认是被动模式（爬虫接受站方报价），主动出价是可选通道——与广告竞价的逻辑同构。强制 WBA 的含义则回到身份问题：密码学身份是付费谈判的前置，伪装 UA 的流量没有议价资格，验证手段见爬虫日志验证方法档案。这套设计把“放行与否”变成了“价格问题”，但商业模式是否成立——有没有爬虫愿意付费——官方数字缺席，这正是它仍处 beta 的原因。

Content Signals 与传递信任：偏好层的两条新实验

Content Signals 在 2026-07 落地为 robots.txt 的 use= 字段：如 use=reference，分级为 immediate、reference（默认）、full——表达“可以怎么用”，与具名组的“能不能来”正交。传递信任实验：搜索或 agent 引擎代理抓取时携带 Forwarded: for="openai"（RFC 7239）头，可选附加 ;use="reference"——让源站知道这次抓取替哪个引擎服务。两条都还是 Cloudflare 侧推动，不是 IETF 标准；与 AIPREF 草案（见AIPREF Content-Usage 档案）是并行且互不兼容的竞争路线。

robots.txt 之外的闸门：WAF 与限速

协议管不到的部分，是这张档案的重心。user-triggered 爬虫（ChatGPT-User、Perplexity-User、Claude-User、meta-externalfetcher）可越过 robots.txt——语义展开见robots.txt AI 配置矩阵，WAF 与边缘控制是唯一闸门。限速按厂商口径选工具：Anthropic 尊重 Crawl-delay；Google 不支持 crawl-delay，用官方 reduce-crawl-rate 通道；Perplexity 建议 UA 加 IP JSON 双重校验并定时刷新（见PerplexityBot）。量级与合规性的提醒：TollBit 统计 2025 Q2 至 Q4 无视 robots.txt 的 AI bot 增长约 400%——“robots.txt 是君子协定”最直接的数据注脚（单源）；Cloudflare Radar 2025 年度回顾口径，AI bot 约占 HTML 请求均值 4.2%（后段升至已验证 bot 流量的约 26.7%，单源转引）。爬虫交换比的完整数据卡见Anthropic 爬取回流比约 38000:1，robots 语义基础见robots.txt（AI 语境）。

对站长的操作清单

1. 在 Cloudflare 后的站点按三类用途重核阻断策略，特别注意 2026-09-15 新默认的连带效应——屏蔽 Training 可能连 Googlebot 的搜索抓取一起挡。
2. 接受一个分层现实：robots.txt 表达偏好，WAF 执行决策，工程预算按后者排。
3. 限速按厂商选工具：Crawl-delay（Anthropic）、reduce-crawl-rate（Google）、双验加自动刷新（Perplexity）。
4. pay-per-crawl 观望即可——private beta、参与者与收入未公布，商业模式未验证。
5. 可在 robots.txt 叠加 use= 偏好声明，但别把它与具名组配置混为一谈。
6. 定期用日志核对“阻断策略”与“实际行为”是否一致——君子协定之外的部分才是真实边界。

限制与待核实

• TollBit 的 400% 增长为单源口径，无第三方复验。
• Cloudflare Radar 的 4.2% 与 26.7% 为转引，引用前应上 radar.cloudflare.com/year-in-review/2025 复核。
• pay-per-crawl 的参与爬虫数量与收入官方未公布。
• BotBase 8 类目的判定细则未完整公开。
• use= 字段三档（immediate/reference/full）的具体语义边界，本档案未核实到官方逐档定义，部署前应以 Cloudflare 现行文档为准。
• Forwarded 头实验的下游引擎支持面无公开清单。