TollBit State of the Bots：AI 抓取与引用监测报告

TollBit 的 State of the Bots 系列是观察 AI 爬虫行为的厂商遥测之一：作为内容方与 AI 平台之间的付费授权中间件，它能看到数百亿次 AI 交互的请求侧数据。2025-12-08 发布的这批数据有两组核心发现：分厂商的引用链接 404 率时间序列，与“无视 robots.txt 的 AI bot 增长约 400%”——后者是“robots.txt 是君子协定”这句话迄今最有力的量化。

引用 404 序列：链接腐坏的分厂商画像

引用链接 404 率测的是“聊天答案里给出的链接点开是否有效”。序列显示：Perplexity 最准（1.16%）；Anthropic 曾在 2024Q2 高达 55%，获得实时联网能力后 2025Q2 降至 4.8%；OpenAI 从 2025Q1 的 0.3% 恶化至 Q2 的 3.7%；均值 1.38%。三条曲线各有含义：Anthropic 的 55%→4.8% 说明架构改进（实时取页替代旧索引）能数量级改善链接质量；OpenAI 的反向恶化说明引用质量不是单调变好，缓存过期会反向积累。站内数据卡收录了完整序列。它与 Vercel 的抓取侧 404（ChatGPT/Claude 抓取超 34% 以 404 结束）口径不同：一个测抓取浪费，一个测引用腐坏，两个 404 都指向同一件事——AI 不沿链接图爬行，URL 的历史包袱会被反复触发（机制见URL 推断与重构）。

400%：robots.txt 的执行力危机

另一组数字是 2025Q2 至 Q4 无视 robots.txt 的 AI bot 活动增长约 400%。这组数据的价值在于把一个法理常识变成了运营常识：robots.txt 是自愿标准，遵守与否取决于爬虫的自我约束与商誉考量；当抓取的利益足够大，协定就会被绕开。对站方的推论分两层——对守规矩的头部爬虫，robots.txt 仍是有效的沟通界面；对不守规矩的长尾爬虫，唯一闸门在 IP/WAF 层。这与站内robots.txt 与 AI的定位、爬虫访问控制档案的实操分级是同一条链。

局限与读法

这是厂商自报口径：TollBit 卖的正是“让 AI 付费抓取”的解决方案，AI 爬虫越失控、引用越腐坏，它的商业叙事越成立——数据方向可信（与其平台业务一致），绝对值无法独立复核，样本偏其客户群（内容方站点）。引用时标注“TollBit 平台遥测，单源”。数字背后的运营动作不依赖绝对值：引用 404 序列支持“维护重定向链、保持旧 URL 可达”，400% 支持“关键内容分级设防”。两条都不需要精确数字也成立——这正是读厂商报告的正确姿势。