ClaudeBot 档案：Anthropic 三条爬虫的分工与取舍

Anthropic 官方文档在册的爬虫有三条：ClaudeBot 负责训练采集，Claude-User 在用户提问时实时取页，Claude-SearchBot 为搜索回答建索引与做相关性分析。三条线在 robots.txt 上逐条表态、共用一份 IP 验证清单，每条线的屏蔽后果官方都给了明确一句话。全景名单见AI 爬虫全景档案表，本页是 Anthropic 家族的单厂商深档。

三条爬虫三种行为：屏蔽后果各写各的

按官方口径逐条看。ClaudeBot 抓取可能进入训练的内容，屏蔽它等于声明未来语料里不要你的材料——影响的是模型的长期认知，不影响当下的任何可见度。Claude-User 在用户向 Claude 提问并要求取页时抓取具体页面，官方对屏蔽后果的表述是“可能降低你在用户主动搜索中的可见性”——这条线服务的是正在发生的提问，性质与 OpenAI 的 ChatGPT-User 同类，属于协议层本来就管不住的用户触发流量。Claude-SearchBot 分析线上内容以提升搜索回答的相关性与准确度，屏蔽它则内容不进搜索索引，官方同样直说后果：搜索结果里的可见性与准确度可能下降。三类用途的完整概念框架见训练、检索、用户触发爬虫的术语卡，与 OpenAI 家族的逐线对照也已在爬虫全景表里给出。

这套分工的实操读法有两层。第一层，Anthropic 家族没有“一条爬虫通吃”的问题，三条线的职责边界在官方文档里是分明的。第二层，也不存在“屏蔽一个等于屏蔽全家”的连带——三条线的 Disallow 各自生效，想保搜索可见度又退训练语料，分别写条目即可，不必在“放行 Anthropic 还是封锁 Anthropic”的单选题里纠结。

作用域还有一个容易忽略的官方细节：robots.txt 的屏蔽按子域生效，全站屏蔽要写在站点顶层域的 robots.txt 里。多子域站点（如 docs 与 www 分域）想全族退出训练，每个子域的 robots.txt 都要写，只写主站挡不住子站。

两个特殊立场：认 Crawl-delay，劝你别封 IP

Anthropic 在大厂爬虫里有两个少见的官方立场，都直接影响配置写法。其一，支持非标准的 Crawl-delay 扩展字段——在 Google 明确不支持 crawl-delay、robots.txt 官方只认四个字段的背景下，这是大厂 AI 爬虫里的少数派（见ClaudeBot 支持 Crawl-delay 数据卡，各厂商支持矩阵见Crawl-delay术语卡）。想给 Anthropic 的抓取降速，Crawl-delay 是官方认可的第一工具，示例写法就是把 Crawl-delay 放进 ClaudeBot 的具名组里。其二，官方劝退 IP 封锁，而且给了理由：封锁 IP “会妨碍我们读取你的 robots.txt”，结果与你的配置意图相反——你想要退出，它连你的退出声明都读不到。同时它声明遵守反规避技术、不会尝试绕过验证码，遇到验证码就停。

另有一条历史注脚：早期 UA Claude-Web 已弃用。老黑名单、老 WAF 规则里还留着这个条目的可以清理了，它既不代表现行流量，继续按它做统计只会制造噪音。

使用 Crawl-delay 还要带一个预期管理：它是非标准字段，Anthropic 的表述是“在合适之处尊重”，取值的单位、上限与执行精度官方未给细则——把当成一个降速请求而不是硬性限速来用，配合日志观察实际节奏再调，别把它当成精确的阀门。

验证与量级：共用清单、抓得多回得少

验证走 claude.com/crawling/bots.json，家族三条爬虫共用这一份 IP 清单。核对时两步都要做：UA 命中哪条线、来源 IP 是否在清单内；反解环节 Anthropic 没有发布类域名掩码，IP 清单就是主要凭证。完整的三关流程与“验证不通过怎么办”见爬虫日志验证方法档案。

流量形态上三条线也不同：ClaudeBot 与 Claude-SearchBot 是系统化周期抓取，节奏相对平稳，适合用日志按天聚合观察；Claude-User 跟随用户提问实时触发，呈突发点状，出现在日志里时往往对应用户此刻正在问与你相关的问题——把它单独监控起来，等于免费拿到一路“真实需求在何时发生”的信号，这是三条线里最不该一刀切屏蔽的一路。

渲染行为的第三方实测口径与 GPTBot 同类：ClaudeBot 会下载 JS 文件但并不执行——它在四家实测里是下载占比最高的一条，正文必须在初始响应的 HTML 里才能被读到。据此推论，前端框架拼装出来的页面在 Claude 侧就是空壳，这条纪律在技术栏的渲染档案里有完整展开，此处只立结论。

量级与交换比是取舍的背景板。Vercel 口径 Anthropic 爬虫月请求约 3.7 亿次，四大 AI 爬虫合计约为 Googlebot 的 28%；而 Cloudflare Radar 口径的爬取回流比里，Anthropic 是“只取少予”的极值端——每换回一次访客要爬数万页（见Anthropic 爬取回流比数据卡）。两个数字放在一起就是“抓取慷慨、引荐吝啬”的量化版本：训练线拿走的是语料资产，回流给的是很少的点击，这笔账怎么记是放行决策的前提。

放行还是封锁：按线拆开决策

三条线的取舍各有一套逻辑，硬凑成一个总体立场只会丢分。ClaudeBot 是纯训练线，屏蔽的代价是退出未来语料，即时可见度无损——时效敏感、更新频繁、担心内容被长期沉淀的站点，屏蔽训练线的动静很小。Claude-SearchBot 是可见度线，屏蔽等于退出 Claude 的搜索答案供给，想要 Claude 渠道引用的站点应放行，并按检索型爬虫的标准准备静态可读的页面。Claude-User 是用户动作线，robots 层写了也不一定管用，真要控制只能上边缘层——把它放进 robots 决策讨论里是浪费时间。协议层的具名组写法与通配组陷阱见robots.txt AI 配置矩阵。

限速的路径也有先后：优先 Crawl-delay，其次边缘层限速，IP 黑名单放在最后——它被官方点名会造成规则读取失败，等于亲手让自己的配置失效。

落地成配置时的一个现实约束也要记下：家族共用一份 IP 清单，意味着按 IP 无法区分三条线，归因只能依赖 UA 字符串。日志台账里 Anthropic 流量的分类列要按 UA 建，统计口径把三条线分列，混成“Anthropic 流量”一列的话，训练账与可见度账就都读不出来了。

我们的口径：对 Anthropic 的默认姿态是“SearchBot 放行、ClaudeBot 按训练策略单独定、Claude-User 交给边缘层”。三家大厂里 Anthropic 是把站长沟通做得最明确的一家——屏蔽后果逐条写明、验证清单公开、连“为什么别封 IP”都给了理由，配置对齐它的文档成本最低。决策每季度对着官方文档复核一次即可，名单与口径的变动窗口都在文档里。