RGB 基准（RAG 四能力评估）

RGB（Retrieval-Augmented Generation Benchmark）是发表在 AAAI 2024 的评估基准，由 RGB 团队提出，用来回答一个此前缺乏统一量表的问题：大语言模型放进检索增强场景后，真实水平到底如何。它把能力拆成噪音鲁棒性、负拒答、信息整合、反事实鲁棒性四个维度，对六个模型做了系统评估。对我们的行业，这份基准的分量集中在两句话：模型该拒答时不拒、该整合时整合不动，是普遍现象而非个别模型的怪癖；噪音与反事实维度的不足，意味着模型对检索来源的可信度在做不完美的加权。两者合起来，正是“多源一致、出处清晰”的写法在生成式引擎里更被优待的机制根源。

四个维度分别考察什么

噪音鲁棒性考察检索结果混入无关文档时，模型还能不能稳住答案。真实的 RAG（检索增强生成） 流水线从来不是干净环境：语义召回的候选里既有贴题段落，也有字面相近、意思无关的噪音块，来源质量参差更是常态。模型若被噪音带偏，答案就会跟着漂移，把低质来源的说法当成定论转述出来。

负拒答考察“检索结果里根本没有答案时，模型敢不敢说不知道”。理想的生成式引擎应当在证据不足时拒答或明示不确定，而不是把不相关的段落硬编成一个看起来有出处的回答。这个维度与用户信任直接挂钩：一个宁可编也不留白的引擎，会把编造风险转嫁给被它引用的内容方——被硬编进去的来源名义上得了引用，实际上背了锅。

信息整合考察答案需要多篇文档的证据拼起来时，模型能不能完成跨段综合。“同时满足两个条件的是哪家”“两份来源各说一半的事怎么合并”，这类问题的证据天然散落，整合能力直接决定回答质量。反事实鲁棒性考察检索文档与模型参数知识冲突时模型听谁的。这一维度的表现还暴露了一个对内容方更重要的事实：模型并不是平等对待每份检索来源，而是带着自己的先验在加权；基准给出的定性图景是，这种加权既不精确也不稳定——“来源可信度会被模型不同程度地加权”这句话，就是从这里得到的实证支撑。

四个维度对应到用户侧的抱怨也各就各位：答案被无关内容带偏是噪音问题，无中生有是拒答问题，顾此失彼是整合问题，与常识打架则是反事实问题。做 GEO 排查时按这张四格表归因，比笼统说“引擎答得不好”有用得多。

基准怎么构造：给同一批问题做变体

方法脉络上，RGB 的思路是变体化：以既有问答数据为底，为同一批问题构造不同难度的检索环境——混入无关文档的噪音版、检索结果不含答案的拒答版、证据分散在多篇文档的整合版、以及与模型既有认知相冲突的反事实版——再比较模型在原题与变体上的表现落差。这个设计把“能力”从笼统的答题正确率里拆了出来：同一道题，环境越脏、证据越碎，差距拉得越开，短板暴露得越充分。

对 GEO 从业者，这个构造思路本身就是个可借用的分析工具。给引擎做问题分类时，同样可以问：这个问题的检索环境是干净的还是嘈杂的？答案是单源可答还是必须拼装？检索证据与通说一致还是冲突？问题类型不同，引擎失手的概率分布就不同，内容侧补位的价值也不同——变体化的思维，把“引擎行不行”细化成了“引擎在哪类问题上不行”。

拒答与整合为什么是两大短板

拒答短板的表现很直观：证据不足时，引擎宁可产出一段流利的回答，也不留白。整合短板的表现更隐蔽：需要多证据综合的问题，答案要么只取其一、丢掉另一半条件，要么把两份来源的口径硬糅成一个含混表述。用户抱怨的“一本正经胡说”与“答案顾此失彼”，大体就落在这两类失败上；基准把它们标为两大弱项，说明这不是某一代模型的临时缺陷，而是这一类系统在能力结构上的薄弱处。

站内的另一条证据线与整合短板互相咬合。多文档场景下，模型对上下文中部信息利用不足、对首尾利用充分，是稳定的学术实证（Lost in the Middle（中部遗忘））：整合做不好，有一部分原因是落在不利位置的证据根本没被充分读到。生成侧之外，引用侧同样不完美——站内留档的可验证性审计显示，生成语句中被引文完全支持的仅约半数（可验证性审计）。生成弱、匹配糙，两件事叠在一起，说明“把多源证据拼成可靠答案”远不是已解决的问题。

对 GEO 的机制含义

引擎的多源整合能力有限，这个前提改变了内容方的博弈结构：模型自己整合不可靠，就更依赖“证据之间本来就一致”这个外部信号。同一结论在多个相互独立的渠道语义一致时，模型无需做高难度的跨源仲裁就能放心采信——多源交叉印证的采信优势因此被放大。矩阵布局策略正建在这块地基上：官网放标准口径，第三方评测承载论证，社区承载口碑，参数页钉住规格，四处彼此咬合，等于把“帮引擎做整合”变成内容侧的主动作。

反事实维度给策略补了另一条纪律。检索证据与模型先验冲突时，模型未必站在证据一边，因此内容表述要尽量与行业通说咬合，而非另起炉灶；确需纠正通说时，把依据、出处与适用边界写全，给模型一个“这次该听证据”的理由。在反事实鲁棒性不足的引擎世界里，孤证挑战共识的代价被放大了——这不是保守，是对引擎行为的现实校准。

对刚接触 GEO 的团队，这份基准校准的是预期：引擎的整合与拒答能力仍不完美，所以“多源一致、出处清晰”不是锦上添花的加分项，而是在补偿引擎的已知短板。把功夫花在降低机器的采信成本上，比追逐任何单一战术都稳。

引用这项基准的三条纪律

其一，基准测的是模型在受控评测集上的能力，不等于任何一款线上引擎的行为。线上产品还叠加了检索质量、重排策略与产品层兜底，短板方向可以借用，绝对数值不能平移到某个具体引擎的答案上。其二，模型迭代很快，四项维度的水平会随代际变化，引用时写“据 RGB 基准（AAAI 2024）”，以短板方向为主，不拿旧分数断言新模型——这也与本站对一切基准类证据的口径一致：方向比数值耐用。

其三，四个维度更适合当诊断框架用：看到引擎在多证据问题上答得含混，先怀疑整合短板；看到它对低质来源过度采信，先想到噪音与反事实加权在起作用；看到证据不足仍硬答，就是负拒答问题。把基准当归因工具而不是预测工具，它对日常工作的价值才真正兑现——我们改变不了模型，能改变的只有交给模型的证据结构。

此外还有两个常见误读要点名。一是不要拿基准分数给引擎排座次：用户在哪个引擎，不随基准分数转移，从业者的任务是适应引擎的短板，不是评选引擎。二是不要从“加权不完美”推出“引擎不做交叉验证”——加权粗糙与交叉验证存在并不矛盾，正确的读法是“验证机制存在但执行粗糙”，而这恰好是内容方可以补位的位置：把口径一致性与出处清晰度做在内容侧，等于替引擎把粗糙的部分先垫平了一层。