Vercel《AI 爬虫崛起》：AI 抓取行为的第一份系统画像

2024 年 12 月 17 日，Vercel 发布与网络测量公司 MERJ 合作的研究《The Rise of the AI Crawler》，给出 AI 爬虫行为的第一份全网级画像。三个结论影响至今：其一，主流 AI 爬虫（OpenAI、Anthropic、Meta、字节、Perplexity）都不执行 JavaScript，抓到 JS 文件也只当静态文本，能完整渲染的只有借道 Googlebot 的 Gemini 与浏览器级渲染的 Applebot；其二，GPTBot 月请求约 5.69 亿次、Claude 约 3.7 亿次，四大 AI 爬虫合计约为 Googlebot 的 28%；其三，ChatGPT 与 Claude 的抓取各有约 34% 落在 404，而 Googlebot 只有约 8%——AI 靠推断与重构 URL 访问，而非沿链接图爬行。

GEO 含义

SSR 渲染、死链治理、重定向维护从此是可量化的 AI 可见度工程，而不是 SEO 习惯——原始研究见Vercel AI 爬虫研究卡，28% 份额口径见数据卡，渲染机制见SSR/SSG 术语卡。