Applebot 与 Googlebot 的区别
Applebot 与 Googlebot 是大厂爬虫里行为最接近的一对：都遵守 robots.txt、都会渲染页面（渲染依赖 JS/CSS，渲染资源被禁会废掉抓取成果）、都不接受 Crawl-delay——Google 的规范不支持该字段，Applebot 官方明确不遵守。分工不同：Googlebot 抓取建立 Google 搜索索引，AI Overviews 与经典搜索共用这套索引；Applebot 服务 Spotlight/Siri/Safari，官方口径其数据可能用于训练 Apple 基础模型。
对照表
| 维度 | Googlebot | Applebot |
|---|---|---|
| 产品入口 | Google 搜索（AI Overviews 共用同一索引） | Spotlight / Siri / Safari |
| robots 姿态 | 遵守；具名组只看自己的组 | 遵守；无 Applebot 条目但有 Googlebot 条目时跟随 Googlebot 组 |
| Crawl-delay | 不支持，限速走官方 reduce-crawl-rate 通道 | 官方明确不遵守 |
| 训练开关 | Google-Extended（无 UA 纯令牌，管 Gemini 训练与 grounding） | Applebot-Extended（无 UA 纯令牌，不参与搜索排名） |
| 页面级控制 | robots meta 定向 token：googlebot | 认 robots meta；支持按 agent 定向的 X-Robots-Tag |
| 验证 | 反解 crawl-***.googlebot.com | applebot.json、反解 *.applebot.apple.com |
常见混淆
第一类是「挡 Googlebot 就挡了 Applebot」——跟随规则是双向陷阱：只给 Googlebot 组写放行的站点，等于顺手放行了 Applebot；想单独挡它，必须显式写 Applebot 条目。第二类是拿 Extended 当爬虫：两者都无 UA、不抓取，是使用授权令牌，屏蔽它们不改变「来不来」，只改变「来了能怎么用」——它们的存在恰好证明「训练开关」与「抓取闸门」在两家体系里都是分开的。第三类是限速：给两者写 Crawl-delay 都无效，Google 走官方 reduce-crawl-rate 通道，其余诉求落到 WAF 与边缘层。
选用建议
配置自查按四步走：渲染资源两边都不禁——两家的渲染都依赖 JS/CSS，官方示例 robots.txt 里专门放行渲染资源；检查 Googlebot 组的写法会不会被无 Applebot 条目的站点继承；需要分策略时显式写 Applebot 组——它支持按 agent 定向的 X-Robots-Tag，noindex/nosnippet 意味着不进 AI 生成的网页答案，付费内容还可用页面级 isAccessibleForFree 表态；验证各走各的端点——Googlebot 反解 crawl-***.googlebot.com 或查 common-crawlers.json，Applebot 用官方 applebot.json 加反解 *.applebot.apple.com，UA 可以伪造，日志核验这步不能省。逐条档案见AI 爬虫全景档案表，分组语法见robots.txt AI 配置矩阵，页面级开关见robots meta 与 X-Robots-Tag 档案；令牌辨析另见Googlebot 与 Google-Extended 的区别，限速支持面见Crawl-delay 与 robots.txt 的区别。