Crawl-delay（抓取延迟） Crawl-delay

Crawl-delay 是 robots.txt 里的非标准字段：向爬虫声明两次抓取之间的最小间隔秒数（如 Crawl-delay: 10），用于控制抓取频率、保护服务器负载。关键词是「非标准」——它不在 robots.txt 的原始协议（RFC 9309）里，属于各家自愿支持的传统扩展：Google 官方明确不支持；Bing 支持但设上限；Yandex 支持；AI 爬虫侧口径更散，Anthropic 声明尊重 Crawl-delay，其余厂商各有各的说法——没有任何一方维护过完整的支持矩阵。

GEO 语境

AI 爬虫把 crawl-delay 从「老站长常识」重新变回现实问题：AI bot 的抓取量级上来了（Cloudflare Radar 口径约占 HTML 请求均值 4.2%，单源转引），服务器压力与日志噪音随之而来，而 Google 不支持、Anthropic 尊重只是已知两端，中间是一大片口径空白——robots.txt 的字段现势与逐组写法见robots.txt AI 配置矩阵。给站方的操作排序：其一，对 Google 的限速诉求走官方 reduce-crawl-rate 通道，别指望 crawl-delay；其二，AI 爬虫的限速去 robots.txt 之外找工具——WAF 规则、CDN 边缘限速、按 UA 与 IP 段的组合规则，都是协议管不到时的实际闸门，访问控制全景见爬虫访问控制实战档案；其三，配置任何限速前先用日志确认真实抓取频率——限速是针对实测压力的处方，不是抄来的默认值。写进 robots.txt 的 crawl-delay 仍然值得写：对支持的爬虫是零成本声明，代价只是别对它抱 Google 侧的期望。