四大 AI 爬虫月请求合计约为 Googlebot 的 28%

四大 AI 爬虫的抓取量级已经不能再用“零星尝试”来形容：据 Vercel 对其托管网络 2024-12 单月的统计（媒体转述，本站未复验），GPTBot 月请求 5.69 亿、Claude 3.7 亿、Applebot 3.14 亿、PerplexityBot 2440 万，四者合计约为同期 Googlebot 的 28%。这是“AI 抓取已成基础设施级流量”这一判断目前引用最广的量化锚点，也是站长估算带宽、算力与日志成本时的第一个参照系。研究档案与出处整理见文献卡 Vercel：AI 爬虫崛起报告。

28% 怎么读：口径先于结论

这条数据的算法并不复杂：把四条主流 AI 爬虫的单月请求数加总，再与 Googlebot 同期请求相比。但四条爬虫内部的量级差距很大——GPTBot 一家占大头，PerplexityBot 与前三者差着一个数量级——合计数掩盖了这种悬殊结构，引用时最好连同分项一起给出：

样本口径决定了数字的适用范围。Vercel 的观察对象是它的托管网络，一个以开发者、前端与产品站点为主的群体，这类站点恰好是 AI 厂商抓取强度最高的类型之一；换到资讯站、电商站或中文站点上，比例未必相同。我们的读法是把 28% 当作量级感来用：AI 爬虫的合计请求站上了 Googlebot 近三成这个台阶，这一档位足以改变容量与成本的规划，但你自己站点是几成，只能以自己的日志为准。

四条爬虫的名单本身也有信息量。GPTBot 背后是 OpenAI 的训练与生态需求，Claude 与 Applebot 分别对应 Anthropic 与苹果的生态扩张，PerplexityBot 服务于 Perplexity 的自建索引——名单里既有训练用途也有检索用途，既有模型厂商也有搜索产品。把这条数据读成“AI 行业整体对公开网页的抓取强度”，比读成某一家厂商的行为更准确。

还有一个不能忽略的分母细节：Googlebot 的请求量本身随站点规模、更新频率与结构在波动，同一个“28%“换到另一个月、另一类站点上，分子分母都在变。跨报告引用这条数据时，先确认两边说的是不是同一对分子分母——本站的口径锁定在”四大 AI 爬虫月请求合计“对”Googlebot 月请求”，2024-12 单月。口径一旦漂移，数字之间的比较就失去了意义。

还有一个更要紧的结构性提醒：这份口径把不同用途的爬虫装进了同一个篮子。按训练·检索·用户触发爬虫（三型）的框架拆开看，四条里量级最大的 GPTBot 是训练爬虫，抓内容用于喂模型而非回答搜索；而真正决定你在 AI 搜索里可见度的检索型爬虫，在整体请求中的占比要低得多——Ahrefs 对 13.7 万域名的统计显示，AI 检索爬虫仅占全部请求的约 1.1%，口径见llms.txt 采纳与请求研究。两个数字对照的含义很直接：抓你抓得最凶的爬虫，未必是决定你 AI 可见度的那一条；讨论“要不要放行 AI 爬虫”之前，先把自己的日志按用途归好类。

请求量接近三成，能力仍是两回事

28% 容易被读成“AI 爬虫快赶上 Google 了”，但同一份报告里的行为发现否定了这种等价。主流 AI 爬虫都不执行 JavaScript——靠客户端渲染出来的内容，在它们面前大概率是空壳；Googlebot 则有成熟的渲染管线，两代爬虫的阅读能力差着一截。这会直接改写技术选型的账：想让内容进入 AI 的视野，服务端直出或静态生成是底线而不是加分项，机制展开见SSR / SSG（服务端渲染/静态生成）。

同一份观察里还有一条对运维更实用的数字：ChatGPT 相关抓取中 34.8% 的请求浪费在 404 页面上，而 Googlebot 只有 8.2%。死链对 AI 爬虫的代价更高——它们的重访节奏与纠错机制不如成熟搜索引擎，近三分之一的请求落在不存在的页面上，既烧你的带宽，也在消耗它们对你站点的索引效率。重定向与死链清理在传统 SEO 里是卫生项，在 AI 语境里升格为可见度项：一条 404 占比居高不下的站点，等于把抓取预算持续倒在废页上。

请求模式的差异也值得放进同一张对比图。Googlebot 的抓取是长期演进出来的节奏：按站点权重分配抓取配额、对变更频繁的区块加密回访、对渲染页面排队处理；AI 爬虫普遍年轻，行为更接近批量搬运——请求集中在内容路径、节奏更突发、对站内优先级的感知有限。对运维的含义是：AI 爬虫的流量更像峰值压力而不是平均负载，容量规划要按它们的突发特征留余量，而不是按 Googlebot 的曲线外推。

放行换什么：把量级放进决策账本

28% 的量级要叠加回流口径才能算清“放行”这笔交换。Cloudflare Radar 的数据显示，Anthropic 的爬取回流比约为 38000:1——每换来一次回访要先抓约 3.8 万页，OpenAI 约 1700:1，作为对照的 Bing 约 40:1，口径见Anthropic 爬取回流比数据卡。抓取量逼近 Googlebot、回流却悬殊到这个程度，“只取不予”是 AI 爬虫当前的结构性特征。对高流量站点，这不是态度问题而是成本问题：带宽与算力是实打实的支出，用网关层的速率限制管理压力，比在 robots 里反复横跳更可控。

把量级、用途、回流三个维度合起来，决策的形状就清楚了：检索型爬虫是 AI 可见度的入场券，默认放行；训练型爬虫按品牌姿态取舍，接受的是一笔回报周期极长、几乎无法归因的交换；用户触发型不受 robots 控制，预算花在页面可达性与内容结构上。三类各自的风险形态与复核方式，展开见AI 爬虫（AI Crawlers / Bots）。

账本上还有几个容易被漏记的科目。日志存储与解析：AI 爬虫请求上来之后，日志体量与解析成本同步上涨，监控管线要提前扩容；缓存与源站压力：不少 AI 爬虫不吃缓存协议的常规假设，回源比例可能高于搜索引擎流量；安全侧的混淆：伪装 UA 的扫描器混在里面，安全团队与 SEO 团队容易各算各的账。把这些科目列进放行决策的成本栏，决策才谈得上完整。

时效与复核：一条会过期的锚点

最后要交代这条数据的年龄。它度量的是 2024-12 的单月情况，此后各家 AI 产品的爬取量级总体向上，今天的实际比例大概率已经高于 28%——但本站的纪律是不凭推断更新数字：方向可以沿用，数值引用时按本卡口径标注“据 Vercel 报告，未复验”。把它当锚点而不是刻度，隔一段时间用自家日志重新对一次表，比追逐外部的新数字更可靠。

复核动作建议落到日志上：按 UA 分桶统计各 AI 爬虫的请求量、路径分布与状态码构成，并用官方 IP 段反查排除伪装流量——顶着知名爬虫名字的扫描器并不少见，把它们计入决策会得出完全错误的取舍。跑过一轮之后，“四大 AI 爬虫占我们 Googlebot 的几成”这个问题，你手里会有一个只属于自己站点的答案，那才是配置与预算决策真正该依据的数字。

复核的产出建议固化成三个观察量：各爬虫请求量的月度序列（谁在涨、谁消失）、404 与重定向在抓取中的占比（废页治理的进度条）、检索型爬虫对新增内容的捡取延迟（发布到被索引的间隔）。三个量对应三类动作——配置取舍、死链清理、收录时效，把日志复核从一次性的好奇变成有明确出口的例行环节，这条数据的寿命才算被真正用足。