AI 爬虫全景档案表
给爬虫做放行或屏蔽的决策之前，先要知道名单上都有谁。这张档案表收录 2026 年 10 月时点主流厂商官方文档在册的爬虫，逐条给出用途、robots.txt 姿态与验证端点；训练/检索/用户触发的三型概念框架不在本页重复，见AI 爬虫与训练·检索·用户触发爬虫（三型）。先给一个总体判断：名单一直在变长，这张表要按季度对一遍。
2026 年 10 月，名单上有哪些在册成员
主流厂商官方文档在册的爬虫约 20 条——OpenAI 4 条、Anthropic 3 条、Perplexity 2 条、Google 系 4 类、Apple 2 条、字节与 Meta 各一组。2025 年下半年以来名单连续扩员：Meta 2025-08 新增 meta-webindexer，OpenAI 上线第四条爬虫 OAI-AdsBot，Google 文档出现 Google-CloudVertexBot。逐条档案如下。
| 厂商 | 爬虫 | 用途 | robots.txt 姿态 | 验证端点 |
|---|---|---|---|---|
| OpenAI | GPTBot/1.4 |
训练数据采集 | 遵守 | https://openai.com/gptbot.json |
| OpenAI | OAI-SearchBot/1.4 |
ChatGPT Search 收录 | 遵守；屏蔽则不进搜索答案（仍可能以导航链接出现） | https://openai.com/searchbot.json |
| OpenAI | ChatGPT-User/1.0 |
用户主动触发（含 GPT Actions） | 不承诺遵守 | https://openai.com/chatgpt-user.json |
| OpenAI | OAI-AdsBot/1.0 |
校验 ChatGPT 广告落地页安全性与相关性，数据不用于训练 | 官方未单列说明 | https://openai.com/adsbot.json |
| Anthropic | ClaudeBot |
训练采集 | 遵守，且支持 Crawl-delay（少数官方支持的大厂爬虫） | https://claude.com/crawling/bots.json（家族共用） |
| Anthropic | Claude-User |
用户发起实时抓取 | 遵守；屏蔽降低可见性 | 同上 |
| Anthropic | Claude-SearchBot |
搜索索引与相关性分析 | 遵守 | 同上 |
| Perplexity | PerplexityBot/1.0 |
搜索索引（官方声明不用于基础模型训练） | 遵守 | https://www.perplexity.com/perplexitybot.json |
| Perplexity | Perplexity-User/1.0 |
用户动作触发 | 官方原文 generally ignores robots.txt rules | https://www.perplexity.com/perplexity-user.json |
| Apple | Applebot |
Spotlight/Siri/Safari；官方口径数据可能用于训练 Apple 基础模型 | 遵守；不遵守 Crawl-delay；会渲染页面 | https://search.developer.apple.com/applebot.json；反解 *.applebot.apple.com |
| Apple | Applebot-Extended |
纯使用控制令牌，不自行抓取 | 无 UA | — |
三条厂商侧的补充口径值得单独记录。OpenAI：robots.txt 变更约 24 小时生效，GPTBot 与 OAI-SearchBot 同时放行时一次抓取可双重服务，文档域名已从 platform.openai.com 迁至 developers.openai.com（旧路径 301）。Anthropic：不鼓励 IP 封锁——官方理由是“会妨碍我们读取你的 robots.txt”，同时声明不绕过 CAPTCHA，旧 UA Claude-Web 已弃用。Apple：Applebot 有一条独有规则——robots.txt 无 Applebot 条目但有 Googlebot 条目时，跟随 Googlebot 规则；它支持 robots meta（noindex/nosnippet 意味着不进 AI 生成的网页答案）与页面级 isAccessibleForFree。
| Google 系 | 用途 | robots.txt 姿态 | 验证物 |
|---|---|---|---|
Googlebot（Smartphone/Desktop 双 UA） |
搜索抓取与渲染 | 遵守 | 反解 crawl-***.googlebot.com、geo-crawl-***.geo.googlebot.com；common-crawlers.json |
Google-Extended |
纯控制令牌——管训练未来 Gemini 与 Gemini Apps/Vertex AI grounding | 无 UA、不抓取 | 无 |
GoogleOther / GoogleOther-Image / GoogleOther-Video |
产品团队通用抓取 | 遵守 | common-crawlers.json |
Google-CloudVertexBot |
Vertex AI Agents 抓取令牌（站长主动请求后启用） | 继承 Googlebot 组 | 同 Googlebot 组 |
| 特殊爬虫（AdsBot、APIs-Google、Mediapartners-Google 等） | 广告与 API 场景 | 忽略 * 组 |
special-crawlers.json |
Google-Safety |
违规内容核查 | 完全无视 robots.txt | — |
字节与 Meta 两条线分开看。Bytespider/TikTokSpider（UA 形如 Mozilla/5.0 (compatible; Bytespider; ...)）无官方合规承诺，社区多方报告不遵守 robots.txt，可靠拦截需要 IP/WAF 层。Meta 在册 5 条：meta-webindexer/1.1（改进 Meta AI 搜索结果并引用链接）、meta-externalagent/1.1（训练加索引）、meta-externalfetcher/1.1（用户代理抓取，可绕过 robots.txt）、meta-externalads/1.1、facebookexternalhit/1.1（可因安全检查绕过 robots.txt）。
名单一直在变长：三个新面孔怎么读
OAI-AdsBot（2025-2026 间上线）是 OpenAI 的第四条爬虫，职责是校验 ChatGPT 广告落地页的安全性与相关性，官方明确数据不用于训练——这是 OpenAI 商业化闭环补上的一环，也意味着广告主站点的落地页会多一类例行访客。Meta-WebIndexer（2025-08）则标记 Meta 的转向：从只抓训练语料，转向“改进 Meta AI 搜索结果并引用链接”的检索型姿态。Google-CloudVertexBot 是第三种模式——站长主动请求后才启用的 Vertex AI Agents 抓取令牌，继承 Googlebot 组规则，属于“授权式抓取”。
三张新面孔的共同读法是：厂商文档化的速度在加快，官方在册名单每个季度都可能多几行。做爬虫台账的站点应该把“对照官方文档”设为固定动作，而不是一次性盘点。抓取量级的参考口径见数据卡四大 AI 爬虫月请求合计约为 Googlebot 的 28%。
官方文档之外：181 条 UA 的社区底册
社区维护的 ai-robots.txt 仓库在 2026-10 时点收录 181 条 UA，是覆盖面最广的公开底册。除厂商在册者外，增量大头是 agent 类：ChatGPT Agent、Operator、Claude-Code、Gemini-Deep-Research、GoogleAgent-Mariner、Google-NotebookLM、Manus-User、NovaAct、TavilyBot、FirecrawlAgent、Crawl4AI、Cloudflare-AutoRAG 等。这类流量的行为模式（真实浏览器环境、任务式访问、会点击会等待）与经典爬虫不同，对渲染与交互的要求也更接近真人用户。
无官方文档的长尾：按风险处理
长尾名单分两档。有官方文档但细节未全核实的：Amazonbot（官方文档在 developer.amazon.com，反解 amazonbot.amazon.com 的细节来自搜索摘要、未直接核实）。完全没有官方文档的：Mistral（MistralAI-User、MistralAI-Index、MistralAI-Training——Mistral 官方无任何爬虫文档，第三方列出的 token 不可靠）、Cohere（cohere-ai、cohere-training-data-crawler）、xAI（GrokBot、xAI-Grok、Grok-DeepSearch/1.0——真实流量罕见，且有伪装 iPhone UA 的报告）。其余常见名字包括 Kimi 家族（KimiBot/Kimi-SearchBot/Kimi-Agent/Kimi-User）、DeepSeekBot、iaskspider/2.0+iAskBot、PanguBot、YouBot、Diffbot/Diffbot-User、PetalBot。
处理原则一句话：有官方文档的按文档验证，无官方文档的无法验证——按风险流量对待，不进入“厂商关系”的决策账本。“文档化 UA 不等于真实流量”在 xAI 身上表现得最典型：名字流传很广，实测流量极少，还有伪装报告。
对站长的操作清单
- 以官方文档为底册建站点自己的爬虫台账，四列——爬虫、用途、验证端点、放行决策，每季度对一次官方文档（名单在变长）。
- 日志中出现的 UA 一律先过各家 IP 验证 JSON 再归类，无官方端点的按未验证流量处理。
- 给台账按三型标注用途列，检索型默认放行、训练型按策略、用户触发型单独记录。
- 订阅 ai-robots.txt 仓库，重点盯 agent 类新 UA——真实浏览器流量，行为与经典爬虫不同。
- 不把 Mistral、xAI 等无官方文档的第三方 token 当决策依据。
- 引用 OpenAI 文档的脚本与书签更新到 developers.openai.com。
限制与待核实
- Bytespider 的 robots 遵守性为社区多方报告（DataDome、ai-robots.txt issue 等），字节无官方承诺文本。
- xAI 与 Mistral 的全部 UA 无官方文档；伪装 iPhone UA 的报告为单源，真实流量规模未知。
- Amazonbot 的反解细节来自搜索摘要，未直接核实官方原文。
- OAI-AdsBot 的 robots.txt 姿态官方文档未单独说明，表中标注的是“未单列”而非“遵守”。
- 181 条 UA 为 2026-10 抓取时点数，社区清单持续变动。
引用来源
- OpenAI bots 官方文档（developers.openai.com）
- Anthropic 爬虫官方说明（support.claude.com）
- Perplexity 爬虫官方文档
- Google 爬虫与抓取器清单（2026-07-14 更新版）
- Applebot 官方文档
- Meta 爬虫官方文档
- ai-robots.txt 社区清单（GitHub）