Meta-WebIndexer 与 Meta-ExternalAgent 的区别
Meta 在册五条爬虫里，meta-webindexer/1.1 与 meta-externalagent/1.1 是最该分开的两个名字。前者 2025-08 新增，官方定位是「改进 Meta AI 搜索结果并引用链接」——它标记了 Meta 从只抓训练语料转向检索型姿态的转折，是 Meta 系 AI 引用的爬虫供给端；后者是训练型爬虫，抓取服务于训练加索引。Meta 的官方偏好表态也值得记：在 NoAI 标签、ai.txt、aipref 等偏好表达路线之争里，Meta 站队了最老的行业标准 robots.txt——对 Meta 系爬虫的控制入口就是 robots.txt 具名组。
对照表
| 维度 | meta-webindexer | meta-externalagent |
|---|---|---|
| 上线与定位 | 2025-08 新增；改进 Meta AI 搜索结果并引用链接 | 在册训练型：训练加索引 |
| 在引用链路的位置 | Meta AI 引用的爬虫供给端 | 不是引用供给的直接开关 |
| 屏蔽后果 | 退出 Meta AI 搜索的候选与引用通道 | 退出训练语料（索引用途同组） |
| 配置 | robots.txt 具名组逐条写 | 同左，与前者分开表态 |
| 家族边界 | 同族 meta-externalfetcher、facebookexternalhit 可因安全检查绕过 robots | 同左 |
常见混淆
一是以为屏蔽 meta-externalagent 就管住了 Meta AI 的引用——引用供给端是 webindexer，屏蔽训练组动不了引用通道，两组语义互不覆盖。二是把 Meta「偏好 robots.txt」读成「全部可管」——同族的用户触发型（meta-externalfetcher）与分享预览（facebookexternalhit）官方口径可因安全检查绕过 robots，那一层的闸门在 WAF 与边缘层。三是照抄「AI 爬虫屏蔽清单」漏写具名组——在 User-agent: * 组写禁令对 Meta 具名爬虫无效，逐条建组写才有效力，组名拼写与官方 token 逐字符核对，错一个字符整组规则落空。
选用建议
站点立场先拆成两问：要不要被 Meta AI 搜索引用（决定 webindexer 组的写法），愿不愿进 Meta 训练语料（决定 externalagent 组的写法）。分别建组、写完用日志验证到访——robots.txt 最长缓存 24 小时，别改完当下就下结论；用户触发流量单独按边缘层方案处理。Meta 名单持续扩员，台账按季度对一遍官方文档。政策背景与五爬虫矩阵见Meta 偏好标准 robots.txt 卡，名单见AI 爬虫全景档案表，分组语法见robots.txt AI 配置矩阵与robots.txt（AI 语境），三型框架见训练·检索·用户触发爬虫（三型）。