robots.txt 返回 5xx：Google 按 12 小时停抓、30 天旧版、视同零限制三阶段处理

Google 官方规范对 robots.txt 返回 5xx 的三阶段处理：前 12 小时停止抓取站点、同时持续重试读取 robots.txt；之后最长 30 天沿用最后一次缓存的正常版本（无缓存可用则视同无限制）；30 天仍未修复——站点本身可访问时按“没有 robots.txt”执行，站点整体不可用时停止抓取并不定期重试。对照组：robots.txt 走 3xx 时 Google 跟随至多约 5 跳，之后按 404 处理。

对站长的含义

robots.txt 的部署故障自带放大器：5xx 持续超过 12 小时就冻结抓取，拖过 30 天更可能滑向“全站零限制”的反面状态——原本被 Disallow 的 AI 抓取路径反而门户大开。发版与迁移期间，保住 robots.txt 的 200 响应，优先级高于普通页面。