Pay per Crawl 与 robots.txt 的区别

robots.txt 与 Pay per Crawl 是爬虫控制的两个世代：前者是免费的偏好表达——站长声明意愿，爬虫方自愿遵守，没有任何强制力；后者是 Cloudflare 试水的商业化通道——把“放行与否”变成“价格问题”，爬虫按请求付费获取内容。截至 2026-07，Pay per Crawl 仍为 private beta：全网统一每请求价格，参与爬虫数量与收入官方均未公布。

对照表

常见混淆

一是把 Pay per Crawl 当可见度手段：它是变现与授权谈判的形态，不改变内容质量与引用逻辑——有没有爬虫愿意付费都还是未知数，谈的不是收入是立场。二是把 robots.txt 当强制力：“全禁等于不出现在 AI”是错觉，无视者与用户触发型爬虫都管不住，TollBit 统计无视 robots 的 AI bot 一年增长约 400%（单源口径），是这条君子协定最直接的数据注脚。三是忽略两者的共同前置——身份可信：robots 靠具名组对号，付费通道靠密码学验签，伪装 UA 的流量在两边都没有议价资格。

选用建议

站方动作排序：robots.txt 具名组配置是基本盘，先写对；算清“抓取与回流不对等”的账（Anthropic 爬取回流比约 38000:1）才知道谈判筹码在哪；Pay per Crawl 观望即可，等参与者与收入数据公开再评估。若站点在 Cloudflare 后，还要注意 2026-09-15 新默认：广告页对 Training 与 Agent 爬虫默认关闭、多用途爬虫按最严规则执行——挡 Training 可能连 Googlebot 的搜索抓取一起挡。现势与协议细节见爬虫访问控制实战档案，协议语义见robots.txt（AI 语境），价值交换背景见爬取回流比数据卡。