Meta：偏好标准 robots.txt 而非非标准标签

在 AI 时代偏好表达的诸多种提案（NoAI 标签、ai.txt、aipref）里，Meta 官方站队了最老的那一个：标准 robots.txt。但它的站队有一条写进自家文档的例外。本卡把立场与例外都记下。

政策要点

• 官方偏好：Meta 在官方文档中表态，偏好行业标准 robots.txt 作为内容方表达抓取意愿的方式，而非 NoAI 标签等非标准格式——即在偏好表达路线之争中，Meta 选择既有标准（标准本体见RFC 9309 卡；标准之外的偏好表达竞争路线见aipref 术语卡）。
• 爬虫矩阵：Meta 官方文档列出五类爬虫：meta-webindexer/1.1（改进 Meta AI 搜索结果并引用链接，2025-08 新增）、meta-externalagent/1.1（训练加索引）、meta-externalads/1.1（广告相关）、facebookexternalhit/1.1（分享预览）、meta-externalfetcher/1.1（用户代理抓取）。
• 立场的边界：同一官方文档口径披露，meta-externalfetcher（用户触发抓取）与 facebookexternalhit 可因安全检查等原因绕过 robots.txt——“偏好 robots.txt”适用于爬虫自主抓取，用户主动触发的抓取不在 robots 排除的承诺范围内。
• 引用侧角色：meta-webindexer 的定位是改进 Meta AI 搜索结果并引用链接，是 Meta 系 AI 引用的爬虫供给端。

覆盖与不覆盖

覆盖：Meta 各爬虫对 robots.txt 的处理口径与偏好表达方式。不覆盖：robots.txt 对 user-triggered 抓取的约束力——文档口径下这类抓取可绕过 robots.txt，站点若要控制该流量须在 WAF/边缘层处理（访问控制层技术面见爬虫访问控制）；Meta 也未发布任何“内容如何被 Meta AI 优先引用”的优化规则，从其偏好表态推不出引用加权。

对 GEO 行业的含义

Meta 的站队使 robots.txt 在头部平台侧获得一次标准背书，非标准标签路线被主要玩家冷落；但 user-triggered 例外意味着“robots 放行即可控”的假设对 Meta 系流量不完整成立——站点侧对 AI 流量的管理不能只押注 robots 单层。

限制与待核实

「偏好 robots.txt」的表态出自官方文档口径，未见独立政策公告；五爬虫各自的 robots 遵守细则与 meta-webindexer 的引用展示规则以 Meta 开发者文档现行版本为准（爬虫名单持续变化，2026-10 口径）。