ClaudeBot 是少数官方支持 Crawl-delay 的大厂 AI 爬虫
支持 Crawl-delay（大厂少数派）
Anthropic 官方文档：ClaudeBot 遵守 robots.txt 且支持 Crawl-delay——在 Google 明确不支持 crawl-delay 的背景下，这是大厂 AI 爬虫里的少数派。
Anthropic 官方文档口径：ClaudeBot 遵守 robots.txt，且是少数官方支持 Crawl-delay 的大厂爬虫。同一文档还有三条配套立场：Anthropic 不鼓励 IP 封锁（理由是会妨碍其读取 robots.txt）、不绕过 CAPTCHA、IP 验证走 claude.com/crawling/bots.json。对照组：Google 官方明确不支持 crawl-delay，建议用官方工具降速。
对 GEO 的含义
限速管理必须分厂商写配置：对 ClaudeBot 可用 Crawl-delay 温和限速；对 Google 另寻他法；对“用户触发型”抓取（Claude-User、ChatGPT-User 等），robots.txt 本就可能被越过，WAF 层才是闸门。另一条实操：别用 IP 封锁对付 Anthropic——它自己说明了这会妨碍读你的 robots.txt，结果适得其反。
口径说明：本卡为官方文档事实（一手），ClaudeBot 的 UA 细节另有公开报道口径。
- 样本与口径
- Anthropic 爬虫官方文档（support.claude.com，2026-10 现行）
- 出处文献卡
- 无对应文献卡（数字出自下方直接引用来源）
- 如何引用
- 据 Anthropic 官方爬虫文档（2026-10 现行口径）
引用来源
- Anthropic 爬虫官方文档
最后更新 2026-10-01数字有时效性——引用前请按出处名称检索核对最新口径