AI 爬虫的抓取预算管理：路径分组、限速与成本控制

经典 SEO 里的“抓取预算”是一份预算：搜索引擎按站点权重分配抓取额度，站长在搜索控制台里看消耗、调优先级。AI 爬虫潮把这个模型打碎了——进站的不再是“一个搜索引擎”，而是十几路目标各异的抓取，各爬各的、各算各的，没有统一预算，也没有控制台。本页讲 AI 语境下的预算管理：路径分组决定预算花在哪，限速按厂商选工具，成本把账算出来、必要时转移出去。

经典预算模型为什么管不住 AI

失效有三层。第一层，预算主体变了：搜索时代是一家引擎的抓取器，现在是检索型、训练型、用户触发型多路并行，同一站点在不同厂商的账本里是完全不同的站点。第二层，配额机制没了：AI 爬虫大多没有按站点分配额度的承诺，也没有对等的站长通道，抓取节奏由对方策略决定。第三层，交换比失衡：Cloudflare Radar 口径的爬取回流比里，部分 AI 爬虫“只取少予”到极值——Anthropic 每换回一次访客要爬数万页（见Anthropic 爬取回流比数据卡），同样的带宽账在 Googlebot 那里是另一个量级。量级底盘方面，四大 AI 爬虫月请求合计约为 Googlebot 的 28%（见四大 AI 爬虫月请求数据卡）——这不是可以忽略的长尾流量，而是第二份全站级抓取负载。

三层失效合起来的管理结论：别再问“我的抓取预算够不够”，要问“多路抓取各自在抓什么、我愿意给谁抓什么”。预算管理的对象从“额度”变成了“路径的准入与优先级”。经典概念里预算的分配逻辑（权重越高额度越大）仍然有效，只是适用对象缩小为每一路抓取各自的内部行为——我们控制不了它们给多少，但能控制它们来了以后把力气花在哪。

路径分组：把抓取赶到值钱的地方

路径分组是预算管理的核心动作，按价值分三组。高价值组——术语页、对比页、问答与决策内容、核心产品页——对所有具名爬虫全量放行，并保证渲染资源可达，这一组是引用的主要来源，抓取份额优先喂它。中价值组——详情页、列表页、存档页——放行但接受低频，不值得为它做特殊优化。零价值组——站内搜索结果页、参数筛选页、标签与日期归档的深分页、后台与接口路径——按组屏蔽：对遵守协议的爬虫用 robots 具名组写 Disallow，对不守协议的流量在边缘层收口（协议层的写法见robots.txt AI 配置矩阵，边缘层收口的实操在 CDN 管理专卡）。

零价值组的判定值得多说一句：判断标准不是“有没有流量”，而是“有没有被引用的可能”。站内搜索结果页对用户有用、对 AI 无用——它的高抓取价值为零、高消耗特征明显，是各组里最该先屏蔽的。参数变体页还要叠加规范声明，避免屏蔽与归属两套信号打架，canonical 治理的做法另见技术栏专卡。

分组之外，预算效率还有一个常被忽视的杠杆：死链治理。AI 爬虫会自行推断与重构 URL，404 消耗的是它自己的耐心和你的一致性——量化背景见抓取效率与 404 治理。把死链压下去，同样的抓取流量里有效占比自然上升。路径分组落地后别当成一次性工程：内容结构每次扩张（新栏目、新参数、新归档）都会造出新的零价值路径，季度复盘时把分组表跟着过一遍，分组才不会慢慢失真。

限速：按厂商选工具，别用错杠杆

限速工具的支持面各家差异很大，选错杠杆是常见事故。已知口径按厂商排：Anthropic 尊重 Crawl-delay——大厂里少见的官方支持，写在具名组里即可生效（支持矩阵与各家口径见Crawl-delay术语卡）；Google 不支持 crawl-delay，官方给的降速替代路径是临时返回特定状态码或用搜索控制台通道；Perplexity 的官方建议是 WAF 层双重校验加自动刷新，限速在边缘做；其余厂商默认在 CDN 层设速率规则。记住这张表的读法：robots 里的字段只在“认它的爬虫”那里有效，不认的，杠杆一律换到边缘层。

两个使用纪律。其一，不要用给 robots.txt 本身返回错误状态码的方式“限速”——协议文件返回异常时，规则会按失效处理，等于撤掉全站协议，这比抓取过载更糟。其二，限速目标要明确：是保护服务器容量，还是表达不欢迎？前者用速率规则精准设阈，后者用路径屏蔽干净表态，两种意图混在一个模糊的“慢点抓”里，哪边都达不到。执行之后要回看日志验证：阈值设下去，目标爬虫的节奏有没有真的变、高价值路径的覆盖有没有被误伤——限速是配置，效果是读出来的。

成本视角：把账算出来，必要时转移

预算管理的最后一环是把成本变成可见的数。从日志台账里取三个口径：AI 爬虫的出口带宽占比、分爬虫的请求量与字节量、高价值路径被各家覆盖的频次（台账做法见服务器日志采集配置）。三个数放在一起，“值不值”的对话就有底了：带宽给谁花了、换来的是语料沉淀还是检索可见、各爬虫的交换比如何。给管理层的那张表还有一条纪律：带宽成本与可见度收益不要折算成一个净数——两边的口径与生命周期不同，并排呈现、分开解读，决策信息反而更足。

账算清之后，成本处置有三档。吸收：带宽成本可承受、且站点吃到了可见度或语料收益，维持放行。压缩：用路径分组与限速把消耗集中到愿意供给的部分，这是默认动作。转移：把“免费供给”改成“付费供给”——边缘平台的按次付费抓取通道（Pay Per Crawl 类机制）把放行与否变成了价格问题，仍处测试期、商业模式未经验证，作为观望项了解即可，不必纳入当期方案。

季度节奏收尾：名单复核对一次官方文档，路径分组随内容结构调整一次，台账数字进出季度复盘。三件事各半天以内，换来的是预算线全年可控。抓取预算在 AI 时代不是一个设完就忘的配置，而是一条跟着名单与内容一起动的管理线——管理的频率不重要，别让它在两次复盘之间静默漂移才重要。