Applebot 档案：跟随 Googlebot 组的取用链与双开关

Applebot 是苹果生态的搜索抓取线：官方口径下，它的爬取数据支撑 Spotlight、Siri 与 Safari 的搜索取用，也可能用于训练驱动 Apple Intelligence 等生成式功能的基础模型，同时为带来源链接的 AI 生成答案提供上下文。也就是说，一条爬虫同时背着“检索可见度”与“训练语料”两本账，控制手段却拆成了好几个开关——本体条目、Extended 令牌、页面级 meta 信号各管一段。本页是 Applebot 的单爬虫深档，官方文档口径为主，取舍逻辑放最后一节。

取用链全景：一条爬虫养着半个苹果生态

官方文档列出的取用面覆盖 Spotlight、Siri 与 Safari 搜索，另有面向搜索与播客的用户代理变体。AI 侧的含义直接写在文档里：爬取内容可能帮助训练苹果的基础模型——这些模型驱动苹果产品线的生成式 AI 功能；同一批内容也会作为 AI 生成答案（如 Siri 的知识类回答）的上下文与来源。苹果生态可见度与 Google 生态的结构差异——“被调用”与“被引用”两条链路的对照——站内对比栏有专卡展开，此处不重复。

一个容易被漏掉的特例：iTunes/ITMS 流量是独立 UA，官方明说不遵守 robots.txt，但只抓取已在 Apple 播客注册的 URL。它不构成一般站点的风险面，播客分发方则需要知道这条线存在，别把播客流量误记进 Applebot 的抓取账。

把取用链读成内容要求，结论其实很具体。Siri 与 Spotlight 的答案要走“页面被抓取、被理解、被摘录”的老三样：正文在初始 HTML 里、标题与摘要区可解析、时效信息清楚——Applebot 没有为内容方提供特殊通道，它消费的就是一个健康的常规页面。与 Google 生态“被引用”的结构差异在于：苹果侧的答案位更分散（Spotlight 卡片、Siri 口播、Safari 起始页建议），单一页面的引用机会更碎，站点侧能做的是把实体口径与基础可抓性做扎实，而不是赌某个特定答案位。

三条独有规则：跟随 Googlebot 组、会渲染、不认 Crawl-delay

Applebot 有三条在大厂爬虫里独一份的规则，每条都直接改变配置写法。第一，跟随规则：robots.txt 里没有 Applebot 条目、但有 Googlebot 条目时，Applebot 跟随 Googlebot 组的指令（官方口径见Applebot 继承规则数据卡）。这条规则是双向的：只给 Googlebot 写了放行的站点等于顺手放行了 Applebot；反过来想单独挡 Applebot，必须显式写 Applebot 条目，“只挡 Googlebot”挡不到它。

第二，会渲染：官方明确 Applebot 可能在浏览器环境里渲染页面，如果 robots.txt 屏蔽了 JS、CSS 或 XHR 资源，渲染可能直接失败。这与“别屏蔽渲染资源”的通用纪律一致，但 Apple 是把后果写进官方文档的少数几家，安全插件或边缘规则里任何挡掉静态资源的配置，在苹果侧的代价都是整页读不到。第三，不认 Crawl-delay：官方明确不支持该字段，同时表示站点响应变慢或出错时会自动调低抓取速率避免过载——想让它慢下来，正确的杠杆是站点自身的性能与健康度，而不是 robots 里的字段；反过来说，如果你的服务器本来就在超载边缘，Applebot 的自动降速是自我保护而非威胁，不必为它单上拦截。第四条常被忽略的官方口径是缓存：苹果会缓存已抓内容以减少不必要的抓取，这给“改版后 AI 迟迟读到旧版”提供了协议层解释，展开见CDN 与缓存对 AI 抓取的影响档案。

验证与双开关：Extended 与页面级信号

验证有两件套：反向 DNS 落在 *.applebot.apple.com 域内，官方发布 CIDR 段的 JSON 清单在 search.developer.apple.com 域下可取。两件都过再归类，流程与各家通用的验证三关一致。UA 侧的读法有一个官方提示：Applebot 的 UA 呈现成 Safari 形态、带设备与版本信息，桌面与移动两种形态都存在，且浏览器版本号可能随时间更新——按 UA 前缀匹配 Applebot 即可，别钉死完整串。

控制面是本页最值得细读的部分，因为 Apple 把“能不能来”与“来了能怎么用”拆成了两层。Applebot-Extended 是纯使用控制令牌：它没有独立抓取行为，屏蔽它等于声明内容退出苹果通用基础模型的训练——官方同时明确三点：被屏蔽页面仍可出现在搜索结果里；Extended 规则不计入搜索排名；放行它有助于苹果生成式 AI 的长期质量。这与 Google-Extended 的令牌结构同构，记忆时可以两两对照。页面级信号是另一层：nosnippet 的官方口径是让内容退出 AI 生成的答案上下文（页面仍可被检索、仅显示标题）；isAccessibleForFree: false 标记付费墙内容可被检索但不作为 AI 上下文，且只支持页面级、不支持段落级标记。这两类指令的规格差异与站内写法见robots meta 与 X-Robots-Tag 档案与登录墙与付费墙的 AI 可见度代价。

两层开关叠加出一句话决策表：本体条目管“来不来”，Extended 管“进不进训练”，nosnippet 管“进不进 AI 答案”，isAccessibleForFree 管“付费内容算不算 AI 素材”。四问四答逐页过一遍，苹果侧的表态就完整了——比“要不要挡 Applebot”这一问要精细得多，而官方文档给的开关恰好支持这种精细。

放行还是封锁：按取用链定姿态

Applebot 本体的封锁决策要连着取用链算账：挡掉它等于同时退出 Spotlight、Siri 与 Safari 的搜索可见度，以及 AI 答案的上下文与来源位——对面向苹果用户的内容站，这是真实损失，不是象征性表态。加上跟随 Googlebot 组的规则，决策顺序应当是：先想清楚要不要苹果可见度，再决定写不写 Applebot 条目，最后才轮到 Extended 的训练表态。量级参考：Vercel 口径 Applebot 月请求约 3.14 亿次，在四大 AI 爬虫里排第三（见四大 AI 爬虫月请求数据卡）。

我们的口径分三步。默认放行 Applebot 本体，保证渲染资源可达；训练意愿单独决策，用 Applebot-Extended 表态，不必动本体；页面级的敏感内容用 nosnippet 与 isAccessibleForFree 逐页控制，动 nosnippet 之前先算清搜索摘要的代价——它挡的不只是 AI 答案，还有常规摘要展示。两只都会渲染的检索型爬虫的差异对照，另见Applebot 与 Googlebot 的区别。

落地之后有两件维护动作值得固定下来。其一，跟随规则意味着“改 Googlebot 组时要想着 Applebot”——每次调整 Googlebot 条目前先过一遍：这次改动会不会顺带改变 Applebot 的行为；多子域站点还要逐子域核对有没有漏写显式条目。其二，页面级信号是逐页决策，适合纳入内容发布检查单而不是全站配置：新上线的付费内容、摘要敏感页，逐页补标记，比事后批量补救便宜得多。