robots.txt 返回 4xx（429 除外）等于零限制，401/403 不能用于限速

Google 官方 robots.txt 规范的状态码语义：抓取 robots.txt 返回 4xx 时，除 429 外一律按“无 robots.txt”处理——对全站不设任何抓取限制；规范同时写明这些状态码“不影响抓取速率”。换句话说，401/403 在协议层面就不能当限速工具用。429 是 4xx 家族里唯一的例外，因为它正是官方推荐的临时降速信号之一，与 500/503 并列。

对站长的含义

想用 401/403”柔性压制“Google 抓取是无效动作：Google 视其为零限制，照抓不误。真正的降速闸门只有两个——对爬虫请求返回 429/500/503 临时信号，或在 robots.txt 里写规则。这张卡也解释了 429 为何被规范单列：它是 4xx 里唯一携带限速语义的状态码。