Cloudflare Pay Per Crawl 发布：HTTP 402 付费抓取协议

HTTP 状态码表里躺了三十年的 402 Payment Required，第一次有了生产级用途。Cloudflare 2025 年 7 月发布 Pay Per Crawl：一个让爬虫按请求付费抓取内容的协议——不付费的爬虫收到 402 与价格头，愿意付费的按头协商、成交后正常返回。它与“内容独立日”默认阻断公告同月发布，一个立墙、一个开门，共同构成 Cloudflare“抓取必须有对价”叙事的两翼。

协议怎么运转

流程分三步。第一步，未携带付费意图的爬虫请求收到 HTTP 402，响应带 crawler-price 头——价格是全网统一的每请求费率，对爬虫机器可读。第二步，爬虫表达付费意愿：被动接受现价用 crawler-exact-price，出价用 crawler-max-price。第三步，成交请求返回 200 并附 crawler-charged 头确认扣费；Cloudflare 充当 Merchant of Record，代收代付。身份问题是协议的地基：付费对象必须可验证——参与爬虫必须通过 Web Bot Auth 认证（Ed25519 密钥 + HTTP 消息签名），否则“谁在付费”无法成立。这套密码学身份体系与站内爬虫日志验证方法档案里记录的三家现势（Google/OpenAI/Cloudflare）是同一条技术线。

现势与边界

三条硬边界决定它的定位。其一，private beta：截至 2026-07 仍处受限测试，官方未公布参与爬虫数量与任何收入数据——“行业已转向付费抓取”的说法没有证据支撑。其二，覆盖面：它是 Cloudflare 网络内的机制，非全网标准；搜索引擎爬虫（Googlebot 等）不在付费范畴，协议面向的主要是训练与 AI 产品用途的抓取。其三，激励相容问题：AI 平台付费的前提是付费比绕过便宜——robots 无视率上升、UA 伪装等行为（见TollBit 监测）说明绕过成本并不高，协议能否形成真实交易市场，取决于主流 AI 厂商是否接入，目前无一家公开承诺。

对站方的用法

Pay Per Crawl 当下的正确身份是“观察项”：如果站点在 Cloudflare 上且对 AI 抓取敏感，可以评估是否加入 beta 体验定价权；任何财务模型里都不该出现它的收入项。更长期的用法是把它当信号源——它与 Content Signals、AIPREF 等方案共同指向同一个方向：内容使用授权正在从“默认免费+robots 自律”转向“显式授权+可验证身份”。站方现在值得做的准备只有一件便宜的：把内容的“哪些部分可训练、哪些可引用、哪些不开放”想清楚并写成内部口径——等授权市场真成型时，有口径的一方才有谈判筹码。政策面的延伸讨论见内容独立日公告卡。