ChatGPT/Claude 抓取超 34% 以 404 结束，Googlebot 约 8%

Vercel 对其托管网络 2024-12 的研究口径：ChatGPT 与 Claude 的抓取请求中超过 34% 以 404 结束，同期 Googlebot 约 8%。归因：AI 抓取大量依赖“推断/重构 URL”，不是沿着链接图爬行——猜出来的 URL 自然错得多。同一研究的抓取量级结论（AI 爬虫合计约为 Googlebot 的 28%）见28% 份额卡。

口径区分与 GEO 含义

两个 404 别混：本卡是“抓取请求的 404”（AI 来爬你时猜错地址）；“引用链接的 404”（AI 给用户的链接点开 404）是另一口径，见TollBit 404 序列卡。

对 GEO 的含义：历史 URL 的重定向链维护直接影响 AI 可见度——301/410 语义正确、sitemap 只留 200 状态的 URL、URL 结构规则化可预测，都能降低 AI 的猜错率，省下的抓取预算会回到有效页面上。