X-Robots-Tag（HTTP 头 robots 指令） X-Robots-Tag

X-Robots-Tag 是 robots 指令的 HTTP 响应头形态：与 robots meta 标签同一套指令（noindex、nofollow、nosnippet、max-snippet 等），但写在服务器返回的 HTTP 头里而非页面 HTML 中。它的不可替代性在覆盖面——meta 标签只能嵌进 HTML 页面，PDF、图片、视频文件、下载附件这些非 HTML 资源没有 head 可放标签，HTTP 头是它们唯一的使用控制通道。在 Nginx、Apache 或 CDN 边缘按路径、按文件类型批量下发，还能做到「整个 /pdf/ 目录统一 noindex」这类页面级配置做不到的事。

GEO 语境

AI 语境给它加了两个新角色。其一，摘录与输入控制的载体：nosnippet、max-snippet 这些被 Google 官方绑定到 AIO/AI Mode 输入的指令，同样可从响应头下发，对非 HTML 资源同样生效——nosnippet 的「摘录税」逻辑见Nosnippet卡。其二，按厂商定向的语法面：Apple 官方支持按 agent 定向的写法（如 X-Robots-Tag: applebot: nosnippet），同一份内容可以对不同 AI 供给方执行不同开放度；Google 的定向具名 token 只认 googlebot 与 googlebot-news 两个，相比之下 Apple 侧的定向自由度更完整。与 robots.txt 的分工一句话：robots.txt 管爬虫「读不读得到」，X-Robots-Tag 管读到的资源「给不给用、怎么用」。两层叠加有两条铁律：指令冲突时按最严执行；robots.txt 若先禁抓，头里的指令永远没机会被读到——完整规格与 Apple 支持清单见robots meta 与 X-Robots-Tag 档案。