抓取预算（Crawl Budget） Crawl Budget

抓取预算（Crawl Budget）指搜索引擎在单位时间内分配给一个站点的抓取频率与页面数量上限，由站点体量、权重信号与服务器承载共同决定。预算管理的目标只有一个：让有限抓取花在高价值页面上——屏蔽无价值的参数页与筛选页、清理死链、让每一份抓取都换来值得索引的内容，而不是被空壳页白白消耗。

GEO 语境

AI 爬虫潮把预算概念从单线变成多线。GPTBot、ClaudeBot、PerplexityBot 等新一代爬虫的抓取强度远超传统爬虫，Cloudflare 的报告口径下，部分 AI 爬虫对头部站点的请求量可达 Googlebot 的数百到数万倍——这些请求同样消耗服务器资源与日志带宽，换来的却不是搜索收录，而是进入各家 AI 的语料与检索池。站长第一次要在“给不给抓”之外回答“这些抓取值不值”。实操三条：其一，robots 配置按爬虫逐组写清允许与禁止，注意组间不继承的陷阱（爬虫分类框架见AI 爬虫卡）；其二，404 与软 404 在 AI 侧的浪费比搜索侧更贵——AI 会反复尝试抓取失效 URL，死链清理的优先级应当上调，治理步骤见抓取效率与 404 治理档案；其三，预算的去向只有日志能回答，第三方工具给的是推测，口径见日志分析卡。AI 语境的预算观一句话总结：不只是“让 Google 抓得值”，而是让你允许的每一家爬虫都抓得值。