抓取效率与 404 治理

抓取效率在传统 SEO 里是成本话题，在 AI 语境里升格为可见度话题：AI 爬虫对 404 的敏感度更高、纠错机制更弱，死链不仅烧带宽，还在消耗它们对你站点的索引意愿——一组“抓取侧四倍于 Googlebot 的落空率”的数字，足以把死链清理从卫生项改记为可见度项。本档案汇总三条口径的量化数据——抓取侧 404、引用链接 404、网络级分布——再给死链治理的优先级。爬虫分类与名单见训练·检索·用户触发爬虫（三型）。

AI 爬虫的抓取预算有多少浪费在 404 上

站点级抓取口径，Vercel 2024-12 数据：ChatGPT 与 Claude 的抓取超过 34% 以 404 结束，同期 Googlebot 约 8%。差距的根源在访问方式——Googlebot 沿链接图爬行，URL 几乎都来自站内链接与 sitemap；AI 爬虫则大量访问“推断/重构”出来的 URL：旧路径、变体拼写、历史结构，落空概率自然高。两个使用纪律：34% 与 8% 的价值在相对差距（四倍以上）而非绝对值——样本是 Vercel 托管网络 2024-12 单月，你的站点是什么水平只能用自己的日志回答；另外它是两家抓取的合并口径，GPTBot 与 ClaudeBot 的行为细节并不对称，别把 34% 拆派给任何一家。同源的抓取量级口径见四大 AI 爬虫月请求合计约为 Googlebot 的 28%。对站长最直接的推论：你的历史 URL 结构就是 AI 的猜测题库，重定向链维护得好不好，直接决定它落空还是落地。

引用链接 404：TollBit 时间序列（另一条口径）

第二条口径量的是另一件事：聊天答案给出的引用链接，用户点击后 404 的比例。TollBit 2025-12-08 发布（基于数百亿次交互，单源口径），给出了少见的分厂商时间序列。

TollBit 给了两类归因：幻觉 URL 与过期缓存数据；并指出一个对站点有意义的机制——站点防爬（付费墙、DataDome 等）迫使 AI 退回旧数据，反而制造更多断链。这个机制的边界值得想清楚：防爬挡住的是“取新数据”的通道，挡不住“使用旧数据”的行为，结果是内容方既失去了被实时引用的可能，又要承担旧版本被引用出错的连带。读法要摆正位置：引用 404 率反映的是厂商侧的数据新鲜度，站点能做的是让“最新正确版本”容易被取到，而不是替厂商修引用。

网络级分布与口径纪律

第三条口径来自 Cloudflare Radar（转引，单源、未在原站复核）：2026 上半年 AI 爬虫请求 70.4% 返回 200、3.5% 落 404、8.3% 被阻断。三个数字是网络级聚合，与单站点日志口径不可直接比较。口径纪律必须立住：不能拿网络级的 3.5% 去否定站点级的 34%——后者是特定两家厂商在特定网络的抓取口径；引用任何一条时注明层级与时间窗，否则三个数字会互相“打架”。三者的正确用法是各答各的问题：34% 答“AI 抓取在你站上浪费多少”（用自己日志校准），1.16%-4.8% 答“厂商引用链接断了多少”（考核厂商侧），8.3% 被阻断答“整个网络里 AI 抓取被挡的规模”（看生态走向）。

Google 官方口径：404 耗预算但不伤排名

Google 官方对 404 的定性稳定：不伤排名，但耗抓取预算。配套的“减少浪费抓取”机制（2026-03-03 文档）有三招，各有对应的站方动作。自动降速——站点响应变慢时官方爬虫自动放缓，这意味着“用慢来挡爬虫”是反生产：挡不住不遵守节奏的 AI 爬虫，却先降了官方抓取频率。内容缓存复用——未变更内容走缓存、减少重抓，站方的配合项是“无实质变更不碰时间戳”。万年历分区识别——对日历、无限分页这类自动生成的无限空间做识别，站方的配合项是别让参数组合无限生成 URL。效率杠杆的反面信号同样官方：新闻首页数分钟级重爬、常年不变的页面月级——“频繁抓取是好信号”成立的前提，是站点响应跟得上节奏；反过来，日志里官方抓取频率的持续下滑值得当作体检信号看。判别哪些 404 来自真爬虫的方法见爬虫日志验证方法档案。

死链治理的优先级

死链治理不是“清一遍”的项目，而是有先后秩序的常设流程，按收益排四步。第一步，sitemap 卫生——地图里只留 200 URL；404 与 301 留在地图里，等于主动向所有读地图的爬虫上报废页。第二步，语义正确——有替代内容的用 301，永久消失的用 410；410 的语义比 404 明确，引擎可以更快停止回访，把预算省下来。第三步，重定向链长期维护——AI 爬虫对旧 URL 的访问不因你改版而停止，历史 URL 的重定向链是资产不是包袱；链上每一跳都是损耗，尽量单跳直达。第四步，推断路径兜底——对日志里被 AI 高频访问的 404 路径（通常来自旧目录结构的“猜测”），指向最近的栏目页或站内搜索，把“落空”变成“落地”。

对站长的操作清单

1. 拉一段日志按 UA 分组统计 404 率，把 AI 爬虫与 Googlebot 分开看——两组基线差四倍以上，混在一起看会失真。
2. 给 404 建一张“高频落空路径”表：按被访问次数排序，头部的推断路径进兜底改造队列。
3. sitemap 纳入发布流程检查项：每次批量上线后跑一次地图内 URL 状态码扫描。
4. 重定向清单当作资产维护：改版前导出全量 301 映射，改版后逐条验证仍单跳可达。
5. 引用任何 404 数字时先对齐口径——抓取侧、引用侧、网络级三套分母不可混用。
6. 保持站点响应速度——变慢会被官方爬虫自动降速，AI 爬虫则可能整体减少回访。

限制与待核实

• TollBit 序列为单源口径：数百亿次交互的样本量大，但无第三方复验。
• Cloudflare Radar 的 70.4%/3.5%/8.3% 为转引，未在原站复核。
• 34% 的“推断 URL”归因是报告方的解释，非因果实证。
• 网络级与站点级 404 率之间的换算关系无公开数据。