Google 官方公告：爬虫 IP 段 JSON 迁移

这是一条不起眼但会让脚本半夜报警的官方公告：2026-03-31，Google 宣布爬虫 IP 段 JSON 文件从 /search/apis/ipranges/ 迁至 developers.google.com/crawling/ipranges/，旧路径保留约 6 个月的 301 重定向后失效。它属于 Google 爬虫文档体系迁址（/crawling/ 路径）的一部分，本卡把公告本身与它牵动的验证管线一并留档。

公告牵动什么：三套验证物

Google 的爬虫验证体系分三类请求、各配一套验证物：Common crawlers（Googlebot 等，反解 crawl-***.googlebot.com 或 geo-crawl-***.geo.googlebot.com + common-crawlers.json）、Special-case crawlers（AdsBot 等 + special-crawlers.json）、User-triggered fetchers（*.gae.googleusercontent.com 等 + 多个 JSON）。此次迁移动的是这套 JSON 的存放地址，验证逻辑本身不变——官方推荐的流程仍是“反解 DNS → 域名落 googlebot.com/google.com/googleusercontent.com → 正解回原 IP”，再叠加 IP 段 JSON 交叉核对。完整操作面见爬虫日志验证方法档案。

为什么值得单独立卡：自动化管线的断点风险

这份公告的实际影响集中在自动化环节。安全设备、日志分析器、反爬 WAF 常以“定时拉取 IP 段 JSON → 更新白名单/黑名单”的方式运行；引用旧 URL 的实现会在 301 宽限期结束后开始失败——失败的方式往往是静默的（拿不到更新而不是报错），导致 IP 库过期、误放行伪装流量或误伤真爬虫。顺带重申官方同页口径：User-Agent 字符串可被伪造（“The HTTP user agent string can be spoofed” 是爬虫清单页顶部的 Caution），UA 匹配永远不能替代 IP/反解验证。对 AI 爬虫同理——各家官方 IP JSON（OpenAI/Anthropic/Perplexity 等）见AI 爬虫全景档案，同类的“官方端点+定时刷新”模式可参照 Google 这次迁移做容错设计。

局限与行动清单

公告本身无数字争议，边界只有时间：6 个月是“约”数，截止点以官方页面为准。行动清单三条：检索自有系统里引用 /search/apis/ipranges/ 的代码与配置；改为新 URL 并保留对 301 的容忍；给这类官方端点加更新失败告警——这次迁移是免费的教训，验证基础设施的每一次官方搬家，都应以告警而不是停摆收场。