robots meta 与 X-Robots-Tag 档案

robots.txt 管的是「能不能来抓」，robots meta 与 X-Robots-Tag 管的是「抓到之后怎么用」——页面级的使用控制。在 AI 语境下这一层突然变得关键，原因是 Google 官方文档出现了一句此前没有的绑定：nosnippet 会同时阻止内容被用作 AI Overviews 与 AI Mode 的直接输入。这意味着页面级开关第一次直接影响 AI 答案的素材池。它与 robots.txt 的分工可以一句话记住：robots.txt 决定爬虫「读不读得到」，meta 决定「读到了给不给用」——两层叠加才是完整的控制链。本页把 Google 侧的规则细则、Apple 侧的 per-agent 定向语法、非 HTML 资源的通道约束拆开讲；robots.txt 层的语法与状态码行为不在本页重复，见robots.txt AI 配置矩阵，noindex 与 robots.txt 的分工辨析见noindex 与 robots.txt 对比。

nosnippet 与 max-snippet：官方明示的 AIO/AI Mode 开关

先把两句官方原句钉在这：nosnippet「同时阻止内容被用作 AI Overviews 与 AI Mode 的直接输入」；max-snippet「限制可用作 AIO/AI Mode 直接输入的内容量」。这两句话的价值在于它们是目前唯一被官方明文绑定到 AIO/AI Mode 的页面级开关——站长对 AI 答案素材的控制面本来就极窄，这两条是窄门里确定存在的两扇。

把它的商业含义说透：AIO 挤压的是摘要型查询的点击（量级见AIO 出现后 CTR 下降数据卡），而内容方对「被摘录但不被点击」可以选择收税——nosnippet 是全额退出（内容完全不进 AIO 素材池，通常也不进摘要），max-snippet: N 是限量供给（控制在 N 词内）。哪些页面值得全额退出、哪些限量，本质是「该页作为 AIO 素材能否换回点击」的单页判断。按页面类型给一张起步判断表（机制建议，非官方口径）：

表中「建议起点」的每一条都应该用站点自己的点击数据回头校验——开关的收益结构取决于该页被摘录后的点击弹性，这份数据只存在于站内日志，不在任何通用结论里。

Google 侧规则细则：六条易错点

Google robots meta 的规则集里有六条高频踩坑点，逐条列出：

第一条与第三条合起来是最大的结构性提醒：meta 层的精细控制以页面可抓为前提，robots.txt 与 meta 是上下游而非平级替代——上游断流，下游所有开关失效。第六条的 indexifembedded 是个反直觉的例外通道：内容方既想对搜索隐藏、又不想杀掉第三方 iframe 嵌入（如视频嵌入页）时，noindex 加 indexifembedded 组合是官方给的解。

Apple 侧：per-agent X-Robots-Tag 定向

Applebot 官方支持面与 Google 有两处关键差异。支持指令清单：noindex、nosnippet、nofollow、none、all；未提及 max-snippet（注意这是文档沉默，不是「不支持」的证据）。更值得注意的是语法能力：Apple 支持按 agent 定向的 X-Robots-Tag——

X-Robots-Tag: applebot: nosnippet

这个语法的战略含义是按厂商拆分摘录策略成为可能：允许 Applebot 抓取与摘要、对 Googlebot 单独收紧（或反向），同一份内容对不同 AI 供给方执行不同的开放度。Google 的 meta tag 同样支持 UA 定向写法，但具名 token 只认 googlebot/googlebot-news 两个——相比之下 Apple 文档明示了 applebot token，多引擎站的定向自由度在 Apple 侧反而更完整。另有一条 Apple 独有的角色划分要记牢：Applebot-Extended 不抓页面，只是「已抓数据可否用于 AI 训练」的使用令牌，不参与搜索排名——用屏蔽 Extended 来「惩罚搜索可见度」是无效操作，训练与排名在 Apple 侧是两条正交的账。

非 HTML 资源：只有 HTTP 头一条通道

robots meta tag 是 HTML 里的元素，PDF、图片这类非 HTML 资源天然没有 <head>，官方明示的结论是：它们的使用控制只能通过 HTTP 响应头的 X-Robots-Tag 实现。X-Robots-Tag 的指令集与 meta tag 一致，只是载体从 HTML 元素换成了响应头，且同样支持 <UA token>: <指令> 的定向写法——上一节的 per-agent 语法在响应头里原样可用。这决定了资源站的配置架构：站点级 nosnippet/noindex 策略要在 Web 服务器或 CDN 的响应头层统一注入，而不是指望每个文件的元数据——响应头层的配置入口与缓存联动见CDN 与缓存对 AI 抓取的影响档案。图片预览的专用开关 max-image-preview 也在同一族指令里，展开见图片与多模态抓取档案。

对站长的操作清单

1. 对「被摘录无点击」的页面做单页判定，用 nosnippet 全额退出或 max-snippet: N 限量——这是官方明示的 AIO/AI Mode 素材开关，不用白不用。
2. data-nosnippet 只写在 span/div/section 上，写完用富媒体测试工具验证生效范围。
3. 检查 robots.txt 与 meta 的上下游一致性：凡是要靠 meta 精控的页面，robots.txt 必须放行抓取。
4. 多引擎站做 per-agent 定向：对 applebot 与 googlebot 分别声明摘要策略，Apple 侧记住 Extended 只管训练、不碰排名。
5. PDF/图片站的摘录控制全部迁到 HTTP 响应头层，在服务器或 CDN 统一注入，别在文件元数据里找开关。
6. 视频嵌入类页面需要「对搜索隐藏、对嵌入开放」时，用 noindex 加 indexifembedded 官方组合。

限制与待核实

• nosnippet/max-snippet 对 AIO/AI Mode 的实际拦截效果无第三方大规模实测，官方文档口径是唯一依据。
• Apple 对 max-snippet 是「官方文档未提及」，支持与否无法断言，本页按沉默处理。
• per-agent X-Robots-Tag 在其他厂商爬虫（OpenAI、Anthropic 等）侧的支持情况无官方文档，勿假设定向语法普遍生效。
• Google robots meta 文档站 2025-2026 迁移频繁，引用路径以最新跳转结果为准。