Claude 搜索
- 检索机制
- 网页搜索 2025-03-20 发布、2025-05-27 全球全量(含免费计划);多方证据指向 Brave Search 供给;API 侧 web_search 工具由模型自主决定何时搜索
- 爬虫与 robots
- ClaudeBot(训练)、Claude-User(用户触发取页)、Claude-SearchBot(搜索索引)三 UA 职责分离,均遵守 robots.txt 与 Crawl-delay;官方提供 bots.json IP 清单核验
- 优化抓手
- 放行 Claude-SearchBot 与 Claude-User(可单独禁 ClaudeBot,互不影响搜索可见度)
- 英文内容做深做长、结构化、带可验证引用——官方「direct citations」口径偏好
- 用官方 bots.json 反查 IP,服务器日志按 UA+IP 双重过滤验证真身
- 出海内容以英文为主,中文页面不指望它带量
- 监测方式
- 六引擎中监测条件最好:服务器日志 UA 匹配 + 官方 bots.json IP 清单反查,双向可验证
在「AI 引擎如何对待站长」这个维度上,Claude 搜索是六台引擎里的标杆样本:三只爬虫各司其职、全部遵守 robots.txt 与 Crawl-delay、官方直接发布 bots.json IP 清单供日志反查——监测条件好到可以双向验证。但它同时是对中资实体限制最严的一家:中国大陆、香港、澳门均不在支持地区。治理最规范与地缘最受限并存,这就是这台引擎档案的全部张力。
检索机制
时间线很清晰:2025 年 3 月 20 日网页搜索发布(美国付费预览,Claude 3.7 Sonnet 驱动,带直接引用与来源面板);2025 年 5 月 27 日全球全量、覆盖免费计划。API 侧同步开放 web_search 工具(Claude API 与 Vertex AI 可用),由模型自主决定何时触发搜索。配套形态还有 Claude in Chrome 浏览器扩展:2025 年 8 月研究预览(限 Max)、2025 年 11 月扩展至全部 Max 用户、2025 年 12 月起 beta 开放全部付费计划,由 Sonnet 4.5 驱动。
供给链是这台引擎最有信息量的部分:多方证据指向 Brave Search——TechCrunch 报道工程师发现引用结果与 Brave 基础设施痕迹吻合,Brave Search API 也出现在 Anthropic 官方文档与 SDK 引用中,但 Anthropic 与 Brave 均未官宣联合声明(证据充分、非官方确认)。这条供给链是中文品牌方最该记住的事实:Claude 的中文可见度弱,根因不在模型不懂中文(模型支持中文),而在 Brave 索引的中文覆盖偏弱——是索引供给问题,不是模型问题。这与ChatGPT Search档案的论点形成刻意对照:ChatGPT 靠 Bing 信号,Claude 靠 Brave,两家「中文被引少」的病理不同,前者中文机会取决于 Bing 中文收录,后者连上游索引都偏薄,优化动作的回收预期要放得更低。
爬虫与 robots
官方确认的三件套,职责严格分离,套用站内训练·检索·用户触发三类爬虫框架恰好一型一只:ClaudeBot 是训练型,抓语料喂模型;Claude-User 是用户触发型,用户提问涉及某页面时实时取页;Claude-SearchBot 是检索型,为搜索建索引——官方文档明确说明封锁它会降低你在 Claude 搜索中的可见度与回答准确性。三者均遵守 robots.txt 与 Crawl-delay;官方还提供 bots.json 的 IP 清单用于核验真身,并建议站长勿用 IP 封锁替代 robots.txt(IP 会变,具名 UA 加 robots 才是稳定协议)。Claude-SearchBot 于 2025 年 4 月进入官方文档,与 OpenAI 的 OAI-SearchBot 是同构的三分法;官方爬虫文档已从 docs.claude.com 迁至 platform.claude.com,旧路径 404,引用配置文档时认准新地址。逐只爬虫的完整取舍逻辑见AI 爬虫总览与爬虫名册。
放在本站爬虫通路坐标系里,Claude 排第一档:三 UA 加 IP 清单,最规范——国产四家(秘塔/夸克/文小言/纳米 AI)无独立 AI 爬虫文档,Grok 无文档且疑似伪装 UA。规范意味着可操作:训练与搜索两条通道可以分别决策——在意训练语料就单独禁 ClaudeBot,想保搜索可见度就放行 Claude-SearchBot 与 Claude-User,两个开关互不牵连,这是 ChatGPT 三爬虫同款的红利,但 Claude 把文档与验证工具做得更完备。唯一悬而未决的问题:Claude-SearchBot 与 Brave 在链路中的分工关系,官方从未说明——未核实项。
规模与口径
Claude 搜索没有可引用的用户规模数字——Anthropic 不披露搜索用户量或 MAU,六引擎中口径最干净也最空缺的一家。真正有分量的是地缘与合规口径:中国大陆、香港、澳门均不在 Anthropic 支持地区列表(官方页面可查);2025 年 9 月,Anthropic 官宣切断「不受支持地区总部控股过半」实体的访问,中资企业的海外子公司亦受影响——合规风险在这里反了一向:不是品牌方违规,而是 Anthropic 侧主动收缩。2026 年 2 月,Anthropic 公开指控三家中国 AI 实验室(报道点名阿里、月之暗面、DeepSeek)用虚假账号蒸馏 Claude 模型,中资 AI 生态与它的关系进一步降温。模型本身支持中文,但大陆不可直连、注册受限——这些边界叠加 Brave 中文索引偏弱,构成中文被引趋近于零的完整链条。
中文品牌方的优先级判断
低优先级;出海品牌中高。纯大陆业务:被引机会趋近于零(不可达+限制+索引弱三重叠加),且没有任何合规动作可做——风险在 Anthropic 侧而非品牌侧,不建议投入。出海品牌(英文内容为主):值得按「Claude 偏好」做一轮优化,因为它是监测条件最好、规则最透明的引擎,投入可验证:放行 Claude-SearchBot 与 Claude-User、按需单独处理 ClaudeBot;内容做深做长、结构化、带可验证引用——官方公告的「direct citations」(直接引用)口径表明它偏好能定位到具体段落的一手来源;英文官网的基础功参照官网优化档案。不该做的:为它单做中文内容、用中文问句集评估它的引用表现(分母太薄,结论无意义)、把 Claude in Chrome 的浏览器场景与搜索引用混在一个指标里。
监测方式
六引擎中监测条件最好,可以给出可执行核验法。第一步,robots 配置核对:确认三只 UA 的分组规则与意图一致(放行/禁绝分明,具名组不继承通配组规则)。第二步,日志验证:按「UA 匹配 + 官方 bots.json IP 清单反查」双重过滤确认 Claude-SearchBot/Claude-User 的真实到访——这个双重验证流程足以把伪装流量排除在外,别的引擎给不了这个条件。第三步,答案端抽样:固定问句集(英文)在 claude.ai 提问,核对来源面板的引用构成。三步都能落进报表,Claude 因此适合作为「AI 引用监测方法论」的标定引擎:先在它身上跑通流程,再把降级版流程套到不可验证的引擎上。
限制与待核实
四条边界。其一,Claude-SearchBot 与 Brave 的关系官方从未说明——Brave 供给本身为多方证据、非官宣,引用时保留限定词。其二,Brave 索引中文覆盖偏弱为从业者共识,无量化数据(未核实)。其三,Claude 搜索的用户规模无任何官方口径。其四,2025 年 9 月对中资实体的限制在执行层面的边界(控股比例如何认定、哪些业务受影响)无细则公开,涉及中资海外子公司的业务决策应直接咨询 Anthropic 官方渠道。
引用来源
- Anthropic:Claude 网页搜索官方公告
- Anthropic 官方爬虫文档(三 UA 与 bots.json)
- TechCrunch:Brave 供给 Claude 搜索的报道
- Anthropic 支持地区列表