robots.txt 缓存最长 24 小时，规则变更按"次日"生效

Google 官方口径：robots.txt 内容一般缓存至多 24 小时，时长可被 HTTP Cache-Control 的 max-age 调整；刷新失败（超时、5xx）时旧版本可能沿用更久，缓存的 robots.txt 还可能被 Google 旗下多个爬虫共享。OpenAI 官方爬虫文档同样写明其 robots.txt 变更约 24 小时生效——两大头部厂商在此口径一致。

对站长的含义

改 robots.txt 不是即时开关：给 AI 爬虫放行或屏蔽之后，最长约一天才在 Google 侧全面生效，验证窗口要按“次日”计，别在变更后几小时就下结论。Cache-Control 是合法的加速手段——调短 robots.txt 的 max-age 可让变更更快落地，但别调得太激进：刷新失败时，旧规则反而会用得更久。