robots.txt 超过 500 KiB 的部分被 Google 直接忽略

Google 官方规范为 robots.txt 设定 500 KiB 文件大小上限，超出部分直接忽略；文件必须为 UTF-8 编码纯文本，行首 BOM 被忽略，非 UTF-8 字符可能导致所在行整体失效。500 KiB 约合数千条规则，对一般站点绰绰有余，但对逐条罗列海量路径做 Disallow 的大型站点，这是真实的硬顶。

对站长的含义

“把每个垃圾路径都写一遍 Disallow”的堆砌式配置会无声越界：超限规则不报错、不降权，直接凭空消失，站长无从收到警告。正确姿势是利用 Allow/Disallow 的最长前缀匹配写模式化规则，把文件压在限额内——robots.txt 的每条规则都以“被完整读到”为前提，这一点与 AI 可见度是同一个道理。