TollBit「Bits and Bots」：AI 爬虫的 404 序列与答案中的失效链接

2025 年 12 月 8 日，AI 内容变现平台 TollBit 发布博客《Bits and Bots: Analyzing HTTP 404 errors》，基于其 State of the Bots（Q2 2025）面板数据给出两个观察：其一，AI 爬虫会大量请求站点上已删除或从未存在的 URL，且被 404 拒绝后仍反复重试，把抓取预算耗在死链上；其二，AI 助手给出的答案里含有失效或凭空捏造的链接，用户点击这些链接时，请求落在发布方服务器上形成成规模的 404 流量——等于答案侧的引用质量问题，在站点日志里留下了可直接测量的足迹。

这份分析把两件常被分开讨论的事（爬虫行为与引用质量）接到了同一个证据面上：日志不仅是防御工具，也是审计 AI 引用的传感器。

GEO 含义

404 序列让站点可以用日志验证低成本审计“哪些 AI 在引用我、引用质量如何”；反方向看，清理死链、保护抓取效率直接决定 AI 侧还能否顺利取用到内容，相关爬虫清单见爬虫名册。