URL 推断与重构：AI 爬虫为什么不沿链接图爬行

搜索引擎爬虫的教科书画像是一个沿链接图行走的采蜂：从种子页出发，顺着页内链接与 sitemap 一站站爬下去，URL 几乎都有出处。AI 抓取把这张图撕掉了一角：语言模型在训练语料里见过海量 URL 字符串，抓取时会按记忆到的命名模式“推断/重构”出候选地址直接访问——相当于一个读过你历史网址、凭印象重新拼出来的访问者。Vercel 对其托管网络 2024-12 的研究口径给了这条机制一个量化侧影：ChatGPT 与 Claude 的抓取请求超 34% 以 404 结束，同期 Googlebot 约 8%——猜出来的地址，自然错得多（数据卡，见Vercel 研究卡）。本页拆的是这条机制的因果链：URL 从哪来、为什么猜错、猜错的代价如何传导到你的 AI 可见度。

机制拆解

两种发现页面的方式

链接图爬行：URL 全部来自已抓页面里的链接、sitemap 与历史队列，发现即有效——Googlebot 约 8% 的 404 率就是这条通路的基线。URL 推断/重构：不经过链接，直接按模式生成地址访问。教科书层对语言模型有一条共识：它会把训练数据里的模式复现出来——见过“domain.com/product/12345”式的结构化 URL 海量样本后，模型有能力在需要时拼出同类地址，也可能在生成答案时“记起”并引用一个看似合理、实际不存在的 URL（即所谓幻觉 URL）。这不是 bug，是“从语料学语言”的模型做“抓取”这件事时的天然行为方式。

AI 抓取的 URL 从哪来：四类来源

按三型爬虫的分工看，训练型爬虫为模型积累语料记忆（记忆越深，日后重构你 URL 的素材越多），检索型爬虫建引用池，用户触发型按需实时抓取——三类爬虫的 URL 队列构成不同，但推断行为贯穿其中。各引擎 URL 生成的具体实现均未公开，本页只描述机制类型，不指认具体产品。

猜错率为什么高：三层错配

第一层是时间错配：模型记忆的是训练时点的 URL 结构，站点改版、栏目调整、参数规则变化之后，旧模式批量失效。第二层是形态错配：大小写、斜杠、分页参数、语言前缀的变体拼法，差一个字符就是 404。第三层是规范错配：同一页面多个可达地址时，模型未必拼到规范（canonical）那个。三层错配叠加，就有了 34% 对 8% 的四倍差距——差距本身就是“推断式抓取”存在的证据。

404 的连锁反应：从浪费预算到引用旧版本

猜错的第一手代价是抓取预算：AI 爬虫合计请求量已达 Googlebot 约 28% 的量级（同源口径，见数据卡），其中三分之一落在空处，等于把有效抓取配额打了折扣。第二手代价更隐蔽：拿不到新页面就退回旧数据——TollBit 数百亿次交互口径下，AI 答案给出的引用链接 404 率曾在厂商侧高企（Anthropic 2024Q2 达 55%，接入实时联网后降至 4.8%），归因正是幻觉 URL 与过期缓存（数据卡）。注意两条口径的分野：Vercel 的 34% 是“AI 来爬你时猜错地址”，TollBit 的序列是“AI 给用户的链接点开 404”——前者烧你的抓取机会，后者烧你的那格曝光，机制同源、发生在链路两端。

对 GEO 的四条推论

推论一：URL 结构规则化可预测，是给推断式抓取降错率的头号动作。 语义清晰、层级稳定、参数可控的地址，猜中率天然更高；随机串、深层参数、多套并存的历史结构，是给模型的猜测题库加难度。改造清单见抓取效率与 404 治理。

推论二：重定向链是可见度资产，不是技术债的尾部。 每一条旧 URL 都该有语义正确的去向（301 到新址、410 表永久下线），sitemap 只留 200 状态的地址——历史结构维护得好，模型按记忆重构的旧地址会落到 301 而不是 404，猜错被无损接住。改版直接换 URL 不做承接，等于主动制造一批推断落空。

推论三：用主动推送替代被动等待，把“被发现”从猜测变成告知。 IndexNow 协议在 URL 新增或变更时分钟级告知参与引擎（Bing、Yandex、Seznam、Naver、Yep 五家共享，Google 不参与），协议细节见IndexNow 档案。推断式抓取的对面就是确定性通道：与其让它猜，先把正确地址推给它。协议档案页有响应码语义与三层验证闭环。

推论四：防爬决策要计入断链副作用。 TollBit 归因里有一条对站点侧的提醒：付费墙与反爬挡住“取新数据”的通道，挡不住“使用旧数据”的行为——结果是内容方既失去被实时引用的可能，又承担旧版本被引用出错的连带。robots 的分用途配置（见robots.txt AI 语境）比硬拦更能兼顾。

常见误解

“404 只是浪费点带宽，不影响可见度。” 404 烧的是抓取预算、拖的是索引更新、间接制造旧版本引用——三条都在可见度账上。死链治理在 AI 语境里从卫生项升格为可见度项，就是这个传导链的结论。

“AI 引用的链接都是刚抓的实时页面。” 引用可能来自缓存的旧快照，甚至来自模型重构的不存在地址。引用 404 序列里 Anthropic 55% 到 4.8% 的改善曲线说明这是工程问题而非玄学——但站点侧能做的是让最新正确版本容易被取到，修不了厂商的缓存。

“改版换个 URL 结构无所谓，权重会自动迁移。” 传统 SEO 里权重迁移尚需重定向承接，AI 语境里还要多一层：训练语料里的 URL 记忆不会跟着你改版更新。没有承接的换址，是把历史记忆全部变成 404。

限制与待核实

• Vercel 34% 对 8% 是单托管网络、单月（2024-12）、两家合并的口径，价值在相对差距而非绝对值；你的站点什么水平，只能用自家日志回答（方法见爬虫日志验证）。
• 各引擎 URL 推断的实现方式、触发比例均未公开，本页的类型学描述不构成对具体产品的行为断言。
• TollBit 序列为服务商单源（数百亿次交互），数字随其客户构成波动，引用需注明口径与时间点。