Cloudflare：AI 爬虫流量年度研究

“AI 爬虫流量在暴涨”是过去一年被说滥的一句话，但作为站点决策依据它是失效的——因为“AI 爬虫”根本不是一类东西。Cloudflare 以固定客户群口径追踪了一年 AI 爬虫流量的变化，给出的图景是结构性分化：用户触发型爬虫爆发增长、训练型爬虫重新洗牌、爬取与回流失衡到数万比一。这份报告为“内容与 AI 平台的价值交换”议题提供了目前最系统的数据底座，也为站方的分级策略提供了第一份可操作的分类依据。

四个百分比，四种命运

报告里最直观的是四个爬虫的四条曲线。GPTBot（OpenAI 的训练爬虫）请求量一年增长约 305%——训练抓取在继续放量，说明头部厂商的语料建设仍在投入期，“训练高峰已过”的说法至少在观测期内不成立。字节跳动的 Bytespider 请求量下降约 85%——训练型爬虫内部在洗牌，份额向少数玩家集中。另一边是两个天文数字：ChatGPT-User 增长约 2825%，PerplexityBot 增长约 157490%——后者五位数以上的百分比意味着它几乎是从零起步的爆发。

这两类增长的性质完全不同，恰好对应三型爬虫框架里的两类。ChatGPT-User 与 PerplexityBot 属于用户触发型（检索/代理型）：用户每问一个问题，引擎才去抓一次相关页面，所以它的增长直接映射问答流量的增长——爬虫请求暴涨，本质是“AI 在替用户访问你的站”。GPTBot 与 Bytespider 属于训练型：为构建语料库而抓，与任何用户行为无关。把两类请求混在一个“AI 流量”桶里观察，会同时误判两边——既高估训练抓取的持续压力，也读不出问答流量到来的信号。

Bytespider 的负增长值得单独读。训练型爬虫的请求量取决于两件事：平台还在不在扩语料，以及站点群体还让不让它抓。一个以高请求强度著称的爬虫掉下 85%，更可能是两个因素同时作用——训练语料的边际需求回落，叠加越来越多站点对高消耗抓取设限。这条曲线对站方的提示是：爬虫格局不是常数，今天的屏蔽共识、明天的授权协议，都会改写明年的请求结构；把某一年度的报告当长期事实使用，保质期有限。

对站方还有一层容易被忽略的含义：用户触发型爬虫的请求，几乎等价于一次真实的 AI 引用机会。当 PerplexityBot 来抓某个页面，通常意味着有用户的问题恰好命中了这个页面——这份日志因此成了最便宜的“反向索引”：哪些页面在真实问答里被取材、频率如何，答案都在爬虫日志里，多数团队却从不看它。

数万比一的失衡：爬取与回流说明什么

报告的另一半是价值账。以“每带来一次回访要抓多少页”计：Anthropic 约 38000:1，OpenAI 约 1700:1，Bing 约 40:1（完整口径见站内卡《Anthropic 爬取回流比约 38000:1》）。AI 爬虫整体呈现“只取不予”的结构——大量抓取，几乎不回流点击。

这个失衡要放在历史交易结构里读。传统搜索时代有一笔隐性交易：引擎抓你的内容做索引，换来一条可点击的链接，站点获得流量，双方各取所需，Bing 那档几十比一的回流比就是那笔交易的市场价。生成式引擎把交易改成了单边：内容被取走合成答案，答案本身满足用户，点击不再必要——价格从几十比一跳到几千甚至几万比一。这就是“价值交换”从一个商务话题变成行业级议题的机制根源：不是 AI 平台变贪婪，而是交易结构变了，旧的隐性合约不再自动成立。

对单个站点，这个数字的用法是算清自己的账。先从日志里分出各爬虫的请求量级，再对照自有分析口径里来自各 AI 平台的回访，粗算自家的“回流比”。不同站点、不同内容类型的失衡程度差异很大——工具类、时效类内容的回流结构与百科类完全不同。只有算过自己的账，“放行还是限制”才是一个有依据的决策，而不是对行业新闻的情绪反应；也算得出来该把谈判优先级给哪家平台，而不是在所有谈判桌上用同一套说辞。

站方对策：按类型分级，而不是一刀切

报告 implication 的第一句是策略主线：带宽与安全策略要按爬虫类型分级。展开成三层。第一层识别：在日志与 WAF 层把爬虫按类型打标——训练型、检索型、用户触发型，而不是笼统的“bot”；识别粒度直接决定后面两层是否成立，混标的日志只能支撑情绪化决策。第二层定价：对每类爬虫问同一个问题——“它抓走的内容，换回什么？“用户触发型抓取直接对应引用机会，通常值得放行与优化响应；训练型抓取换回的东西最模糊，正是授权与付费谈判的对象。第三层动作：在 robots.txt 与网关层按标签分别设规则，并定期复评——这份年度报告最大的教训就是结构在变，去年合理的规则今年未必合理。

分级之外的行业走向也要盯着：授权抓取、付费订阅语料这类价值交换安排，正在从个案走向常态。内容方手里真正谈判筹码不是屏蔽威胁，而是这份报告展示的数据能力——说清“谁在抓、抓多少、换回多少”，谈判才有起点。对中小站长，更现实的做法是先看清结构、按分级守住底线，把有限的对抗精力留给真正越界的抓取行为。

分级之后还有一件顺手的运维功课：对放行的用户触发型爬虫做响应质量保障。这类抓取往往带着用户的等待，超时与报错不只是损失一次抓取，而是损失一次已经在发生的引用机会——稳定、快速、内容完整地返回，就是把 AI 流量红利兑现的第一现场。把“AI 爬虫可用性”纳入监控面板（响应成功率、耗时分爬虫统计），在多数团队还是空白，而这份报告说明它正从可选项变成必修项。

口径与边界：厂商自报数据怎么用

三个边界要交代。其一，厂商自报：数据来自 Cloudflare 自家网络的固定客户群，好处是全年同一批站点、纵向可比，代价是客户构成偏向使用其 CDN 的站点，绝对占比不能外推到整个互联网。其二，百分比是相对增长不是绝对量级——+157490% 恰恰说明基数的起点极低，读爆发信号可以，拿来排“最大爬虫”的名次不行；量级判断应回到请求绝对值与自身日志。其三，与站内另一份爬虫证据并排时要注意时点：Vercel 的托管网络报告（2024-12）测得四大 AI 爬虫月请求合计约为 Googlebot 的 28%，且主流 AI 爬虫都不执行 JavaScript（见《Vercel：AI 爬虫崛起报告》）——两份报告的观测网络与时间窗不同，结论互补而不矛盾：前者给“与传统搜索爬虫的相对量级”，本报告给“AI 内部的结构与变化”。

对本站用户，这份报告的最佳位置是参考层：它不直接给任何 GEO 动作清单，但它把“你面对的爬虫是谁、想要什么、拿走什么”这个问题第一次量清楚了。所有后续决策——放行策略、内容授权、甚至“要不要认真做 AI 可见度”的成本收益测算——都应当从这份结构图出发，而不是从“AI 流量暴涨”的标题出发。标题会过期，结构感能用很久。