Apple 官方爬虫支持文档：Applebot/iTMS/付费墙标记口径

Apple 的官方爬虫支持文档（support.apple.com/119829）是主流平台里把“抓取”与“AI 训练用途”拆得最清楚的一份：Applebot 负责抓取（服务 Spotlight/Siri/Safari），Applebot-Extended 只是使用控制令牌。加上播客侧口径（iTMS UA、官方转写），它构成苹果系的完整抓取契约。爬虫全名单见AI 爬虫名册，本卡写这份文档作为文献的口径与用法。

文档的核心口径

四组。第一组，Applebot 的抓取行为：遵守 robots.txt；robots.txt 无 Applebot 条目但有 Googlebot 条目时跟随 Googlebot 规则；不遵守 Crawl-delay；会渲染页面——robots.txt 屏蔽 JS/CSS 会导致渲染失败；身份可核验（反解 *.applebot.apple.com，IP 段有官方 JSON）。第二组，Applebot-Extended：不自行抓取，只决定已抓数据能否用于 AI 训练；屏蔽它不影响搜索可见性、不参与搜索排名——“屏蔽了 Extended 就挡住 Apple”是最常见的配置误解。第三组，页面级控制：支持 noindex/nosnippet（nosnippet 阻止内容进 AI 生成的网页答案）、支持按 agent 定向的 X-Robots-Tag（如 X-Robots-Tag: applebot: nosnippet）；付费墙标记 isAccessibleForFree 仅支持页面级，不支持 Google 那套 hasPart 段落级方案（粒度差异见付费墙与登录墙档案）。第四组，播客侧例外：Podcasts 内容抓取使用特殊 UA「iTMS」，该 UA 不遵守 robots.txt；官方转写 2024-03 随 iOS 17.4 上线、首发语言不含中文（口径见播客平台档案）。

对配置与监测的含义

配置上要双轨写 robots.txt：Applebot（抓取）与 Applebot-Extended（训练用途）各自独立条目，具名规则互不继承，混写等于漏配；付费墙标记按页面级做，双引擎站（Google+Apple）要准备两套粒度。监测上，Applebot 的身份可官方核验（IP JSON+反解），日志里的苹果流量先验真再归因（配置总表见robots 配置矩阵，验真方法见日志验证档案）。iTMS 例外还给出一条内容侧结论：播客音频元数据无法用 robots 控制，中文播客进 AI 语料靠自发文字稿——供给缺口即窗口。

局限与读法

两条。其一，文档是“现行”状态，Apple 的 AI 产品线演进快，口径随时可变，重要决策引用时标注核对日期。其二，文档只给控制口径不给排序口径：“怎样被 Siri/苹果 AI 优先引用”没有官方说明——它保证的是“你能控制什么”，不是“你怎样被选中”；把这份文档当配置契约用，别当优化指南用。