Vercel：AI 爬虫崛起报告

Vercel 在 2024 年 12 月发布的这份报告，从托管网络视角给出了 AI 爬虫的第一手量级与行为数据：GPTBot 单月请求约 5.69 亿、Claude 约 3.7 亿、Applebot 约 3.14 亿，四大 AI 爬虫合计约为 Googlebot 的 28%；主流 AI 爬虫都不执行 JavaScript；ChatGPT 约 34.8% 的抓取浪费在 404 页面，Googlebot 仅 8.2%。三条数据分别指向 GEO 的三个技术底线：渲染方式、JS 依赖、死链治理。本站按公开报道口径留档，数据未复验。

托管网络口径：28% 这个数怎么读

Vercel 的样本是它所托管网络的请求日志，代表的是以现代 Web 前端为主的站点画像。因此 28% 不是“全网 AI 爬虫占比”，而是同一批站点上 AI 爬虫与 Googlebot 的请求量对比——读数时先认口径，再认方向。结论的稳健处在量级：AI 抓取已经到了与经典搜索引擎爬虫可比的规模，“要不要理它”不再是个问题，问题只剩“怎么管理它”。

本站把 28% 与几家爬虫的月请求量单独留档为数据卡（四大 AI 爬虫月请求合计约为 Googlebot 的 28%），同一口径里 PerplexityBot 约 2440 万——头部与腰部爬虫的量级差距悬殊，治理优先级自然分层：先管头部请求源，再顾长尾。对 AI 爬虫 做分级治理时，还需要区分爬虫的类型——训练、检索、用户触发三型的抓取节奏与价值各不相同（三型爬虫），一刀切的放行或封禁都会误伤。

请求量级背后的三层含义

把量级数据翻译成运营语言，有三层。第一层是基础设施：AI 爬虫已经是站点流量结构的常驻成分，容量规划、缓存策略、日志管道都要把它算进去，而不是当异常流量对待。第二层是成本：抓取消耗带宽与算力，而回流并不对等——这决定了“放行多少”是个经营决策，不是技术默认值。第三层是机会：每一次合规抓取都是内容进入引用池的前置动作，拦截错了，等于把自己的可见度挡在门外。

三层合起来，AI 爬虫治理的正确姿势是分级放行、按型施策：对检索与用户触发型爬虫保持通畅，对训练型爬虫按自己的内容策略决定去留，对确证的恶意爬虫坚决拦截。robots.txt 是这场谈判的桌面，但桌面上写什么，取决于上面这三层的账算得清不清。抓取请求中也总有一部分是重复抓取与对无价值页面的抓取，通过 sitemap、内链结构与缓存头的治理能把这部分浪费压下来——这不是拒爬，而是让爬虫把预算花在你希望它看的页面上。

动手的第一步，是把日志里按 UA 分组的请求统计建起来：没有这个基础，放行与拦截都是拍脑袋。统计要能区分三件事——哪些爬虫在来、它们在抓什么页面、抓取返回什么状态码。有了这三个维度，渲染改造的优先级（哪些关键页的内容在 JS 层）、404 治理的清单（哪些死链被高频命中）、放行策略的调整（哪些爬虫值得顺畅通道）就都有了依据；这份报告的三条结论，恰好对应这张统计表的三个读法。分级的前提是识别，UA 伪装与新型爬虫会绕开基于 UA 的统计，定期用请求行为复核一遍分组，防止策略建立在过期的名单上。

不执行 JavaScript：JS-only 内容对 AI 近乎不可见

报告最硬的一条行为结论：主流 AI 爬虫拿到服务端返回的 HTML 就走，不执行页面里的脚本；Gemini 借 Googlebot 的渲染能力是例外。含义直白——客户端渲染（CSR/SPA）里的正文、靠脚本异步加载的参数与价格、JS 拼出来的导航与内链，AI 爬虫统统读不到。对一个内容在 JS 层的站点，AI 引擎的世界里它近乎不存在。

由此，SSR / SSG（服务端渲染/静态生成） 从性能优化项升格为 GEO 的技术底线。自查方法很朴素：用禁用 JavaScript 的方式抓取自己的页面，看核心内容还在不在；更严格的版本是用爬虫 UA 直接抓 HTML 原文，比对与浏览器渲染结果的实质内容差异。两版都过，才算对 AI 可见。改造的优先级排在一切内容战术之前——内容写得再好，机器读不到就是零。

工程上的兜底选项按改造成本排：静态生成在构建期产出完整 HTML，最彻底；服务端渲染次之；存量动态页可以用“给爬虫单独供 HTML”的动态渲染方案过渡——但过渡方案要小心维护两版内容的一致性，一致性失守就滑向 cloaking 的判定红线。还有一个常见误判值得点名：以为用了支持服务端渲染的框架就万事大吉，实际上很多站点的关键区块（评论、参数、价格）仍是异步加载，整页看起来是渲染过的，模型读到的关键信息照样缺席。验收要以“纯文本视角下核心信息是否完整”为准，不是以框架标签为准。

404 抓取浪费：死链治理为何升格

34.8% 对 8.2% 的对比，是这份报告里最容易被忽视、却最可操作的一组数：ChatGPT 的抓取浪费在 404 页面上的比例远高于 Googlebot。死链不只是用户侧的卫生问题——爬虫把预算耗在死链上，意味着有效页面的抓取与刷新被挤压，收录与引用的机会随之受损。404 治理因此从“有空再清”的卫生项，升格为 AI 可见度工程的一部分。

实操上就是三步：从日志里导出 AI 爬虫命中的 404 清单；对仍有价值的 URL 做重定向映射；清理内外链里指向已删页面的链接。内部链接的审计尤其值得做——死链多半是改版与删文的遗留，内链结构顺带修整，抓取效率的改善是双份的。优先级排序也有讲究：先处理 AI 爬虫高频命中、且原本有引用或排名价值的 404；再处理批量改版遗留的死链簇；纯历史遗留的长尾死链可以放缓。治理完不是终点——把“新增 404 告警”挂进发布流程，改版删页时同步配置重定向，才能止住死链的再生产。

抓取之外还要泼一层冷水：爬得多不等于回访多。Anthropic 的爬取回流比约 38000:1、OpenAI 约 1700:1、Bing 约 40:1（爬取回流比数据卡，Cloudflare Radar 口径）——放行抓取换可见度是一种交换决策，量级数据让这笔账有据可依。

与 Cloudflare 年度研究的互证与口径差异

Cloudflare 以固定客户群做的年度追踪（Cloudflare：AI 爬虫流量年度研究）与这份报告互为印证：AI 爬虫流量高速增长，且结构性分化——用户触发型爬虫爆发、训练型爬虫重新洗牌。两份口径的差异也要看清：Vercel 是单月横截面，Cloudflare 是全年纵向；一个代表托管前端站群，一个代表跨行业客户群。读数时把两份叠着看，结论比任何单一口径都稳。

两份报告共同托起的另一个议题是价值交换：内容方供语料、平台方获答案，流量回流怎么算账，行业还没有共识机制，授权与付费抓取的探索都在进行。对内容方，当下可做的仍是把可控变量管好——放行策略、渲染路径、死链清单——把自己这侧的工程账算清，谈判筹码留给行业机制成熟之后。

对站方的最终建议落在配置层：按爬虫类型分级的 robots.txt 策略、对渲染路径的工程改造、对死链的持续清理——这三件事都在“内容之外”，却决定内容有没有入场资格。技术底盘先于内容战术，是这份报告用数据写明的顺序。

最后是这份报告自己的边界：单月横截面看不到趋势，2024 年 12 月的量级此后只会更高，方向（AI 抓取增长）比数值耐用；托管站群偏现代前端，传统行业站点的比例可能不同；本站未复验，引用数值时要注明口径。把它当“技术底线三件套”的证据用——渲染、JS、死链——比当精确流量账用更稳。