Meta-ExternalAgent 档案：训练加索引的双用途线与家族越权边界

Meta-ExternalAgent 是 Meta 在册爬虫里用途最宽的一条：官方定位是抓取网页用于“训练基础 AI 模型，或通过直接索引内容来改进产品”——训练与索引一线双肩，这与别家把训练线、检索线拆成两条爬虫的做法不同。它是 Meta 家族五条爬虫之一，控制面的官方口径也最干脆：只用标准 robots.txt。全景名单见AI 爬虫全景档案表，本页做 Meta 家族的单厂商深档。

官方定位：一条爬虫背两种用途

按官方文档，meta-externalagent 的 UA 核心标识是 meta-externalagent/1.1，遵守 robots.txt，规则变更因缓存最长约 24 小时生效——改完配置验证效果，要等满这个周期再下结论。双用途定位带来的判断难点是：你无法用一条 Disallow 把“训练”与“直接索引”拆开表态——屏蔽它等于两者一起退，放行等于两者一起进。这与 OpenAI、Anthropic 的“训练、检索各一条线”结构形成了鲜明对照，也意味着对 Meta 的决策必须在用途粒度上先想清楚：训练语料要不要给，Meta AI 的直接索引要不要进。想清楚这两问，配置本身反而简单。

需要与它区分的是 meta-webindexer：那条线专为改进 Meta AI 的搜索结果而爬，官方明说放行它有助于 Meta AI 在回答中“引用并链接到你的内容”。两条线的分工对照站内有专卡（见Meta-WebIndexer 与 Meta-ExternalAgent 的区别）。一句话记忆：想要被 Meta AI 引用，看 webindexer；担心训练与直接索引，看 externalagent。

这个双用途结构还有一个时间维度的读法。Meta 在 2025 年间把家族从“抓训练语料为主”扩成了“训练、检索、广告、用户动作”四用途并行的阵容，externalagent 的双用途定位正是那次转向的过渡形态——它先背起了索引职责，随后 webindexer 才单独立线。读官方文档时把这条时间线带上，就不难理解为什么 Meta 家族的语义总在微调，也更容易理解为什么每季度对照一次官方文档是必需动作而不是可选动作。

五条爬虫的家族分工与两条越权线

家族五条逐条列出，越权边界是本表的看点。

两条越权线的性质要分开看。meta-externalfetcher 是用户动作触发，官方立场与各家 user-triggered 流量一致——协议层管不住，这是 robots.txt 结构性的边界，不是 Meta 的特殊立场；官方对它的用途描述还包括评估与改进智能体能力，也就是说这条线上跑的不只是分享预览类请求，还有 agent 能力的实验流量。facebookexternalhit 的越权范围更窄：只在安全或完整性检查（如恶意软件核查）时绕过规则，日常分享预览抓取是守规矩的。对站长的含义：前四条都能在 robots.txt 里逐条表态，唯独这两条的最终闸门在边缘层，配置思路见robots.txt AI 配置矩阵里的 user-triggered 一节。

facebookexternalhit 还有一组技术服务规格值得留存：页面需支持 gzip 与 deflate 编码，Open Graph 标签必须出现在页面前部规定容量内，内容需在数秒内可渲染——预览卡片出不来，先按这三条排查，再看是不是被安全插件误挡了 UA。三类故障里最常见的是最后一种：把分享预览抓取当攻击流量挡掉，社交流量的预览卡片会整批消失，而且日志里只留下被拒状态码，不熟悉家族分工的人很难第一时间定位。OG 协议本身的机制见Open Graph 协议术语卡。

控制面：官方只认标准 robots.txt

Meta 对控制信号的官方态度很明确：使用行业标准做法——robots.txt——而不是 NoAI 标签这类非标准格式。这条表态把“加个 meta 标签挡 Meta”的流行做法直接判了无效，也把决策收敛到一个入口：robots.txt 具名组。官方给出的示例写法就是标准的具名组加 Disallow，改完等一个缓存周期生效。对配置习惯的含义是：别在 NoAI 标签、自定义响应头这类非标信号上为 Meta 系流量花预算，写了它也不读；把工程时间花在具名组与边缘层两处即可。这一官方立场的前因与平台规则语境，站内的政策卡有完整展开（见Meta 的 robots 偏好）。

验证面是家族的短板：官方文档给的是 UA 字符串清单，建议允许名单里加 IP（并注明更安全），但页面上没有像 OpenAI、Anthropic 那样发布可拉取的 IP 清单文件。实操上，对 Meta 流量的身份判定证据强度弱于前两家——日志台账里把“UA 命中但未经 IP 核对”的 Meta 流量单列标记，别与已验证流量混算；做放行决策时也接受一个现实：对 Meta 的判定天然比别家多一档不确定性。过期的分享预览可以用官方调试工具刷新，不必等缓存自然过期；文档还给出了用命令行模拟预览抓取的请求样例，排查预览异常时可直接复用。

放行还是封锁：按用途线拆开表态

meta-externalagent 的封锁决策本质是双用途的一揽子表态：屏蔽等于同时退出训练语料与 Meta 的直接索引，放行等于两者都要；评估它的实际影响时，还要把业务面有没有 Meta 系分发需求（内容是否在意社交流量、是否经营 Meta 生态资产）放进天平。想被 Meta AI 引用又不放心训练的站点，结构是“放 webindexer、挡 externalagent”——引用走 webindexer 的具名通道，训练表态由 externalagent 承担，两条线正交。facebookexternalhit 的取舍则完全是另一件事：它牵着分享预览卡片的生死，挡它伤的是站内分享与社交流量，除非有明确的合规理由，别把它当成 AI 训练的闸门。边缘层的封锁、验证与限速的落地方法见爬虫访问控制实战档案。

我们的口径：具名组逐条表态——externalagent 按训练策略定，webindexer 面向 Meta AI 可见度默认放行，externalads 视广告业务相关性，externalfetcher 与 facebookexternalhit 不进 robots 决策。写具名组时五条各占一组，不共用条目：Meta 家族在 2025 年间还在扩员，新面孔大概率是“用途另立一条线”的模式，分组的习惯留好了，扩员时只需加组不用重构。Meta 家族的封锁写法简单，难点不在语法在拆分：把五种用途混成“Meta 流量”一个开关，是这条家族线最贵的配置错误。五组的具名写法与放行、屏蔽两种姿态的组合样板，robots 配置矩阵里有可直接对照的版本。