生成式搜索引擎的可验证性审计

这项发表于 EMNLP 2023 Findings 的审计（斯坦福团队），逐条核验了 Bing Chat、NeevaAI、Perplexity、YouChat 四款生成式引擎的引用链成色，给出两个方向相反的数字：平均仅 51.5% 的生成语句被所引来源完全支持；74.5% 的引文真正支持对应语句——换句话说，约四分之一的引文挂在那里，却撑不住它应该支撑的那句话。引用链天然不完美，这是此后一切“可验证性”讨论的起点。

两个数字方向相反，别混着读

51.5% 是从生成侧往引用侧量：随机抽一条引擎生成的语句，它被标注的引文能完全支持它的概率略过半。74.5% 是从引用侧往生成侧量：随机抽一条引文，它确实支持旁边那句陈述的概率约四分之三。两个口径的差值说明失败是双向的：模型会引用并不完全支持论断的来源，也会漏掉更合适的来源——前一种是“过度引用”，后一种是“引用不足”，治理动作完全不同。

本站把 51.5% 单独留档为数据卡（生成式引擎引用可验证性），引用时注明口径与年份。还要说明的是，这个数字测的是“完全支持”——部分支持、口径接近但范围更宽的引文都计入不支持，因此它衡量的是引用精确度的严格标准，不能直接读成“答案全错率”。

审计是怎么做的

方法上，这份审计的思路是逐条核验：从各引擎的真实回答里抽取生成语句与它标注的引文，把“这句话是否被这份来源支持”交给人工判定，再汇总成两个方向的通过率。四款产品覆盖了不同的产品形态——有的以搜索为主业，有的是对话产品的检索附件——因此结论更像这类系统的共性，而不是某一家的个性。

人工逐条判定的成本高，也带来一个附带的好处：判定标准被写得很细，什么叫完全支持、部分支持算哪类、引文与语句的对应关系怎么认定，报告里都有交代。引用这项研究时，最好连同这套判定口径一起转述——数字离开口径，很容易被读成另一个意思。这也解释了为什么复现这类审计的人不多：口径细、人工贵，后来者多以抽样或自动化的方式近似，各家数字之间不可直接比较。

对“可验证性信号”还可以做一个务实的理解：它不是玄学权重，而是核验成本的倒数。引擎在生成端的时间与注意力有限，一条论断如果自带出处、出处自带结论、结论自带数据，核验它几乎不需要额外检索；反过来，一条无出处、口径含混的论断，核验成本高到引擎只能选择跳过或降权。把内容做成核验友好的形态，就是在这个隐含的预算里给自己争取位置。

选源不确定性从哪来

机制上，引用选择发生在生成端：模型一边组织语言，一边从上下文里挑出处，两个动作共享同一份注意力。当多个来源语义相近、口径雷同时，选择就近乎随机——谁先被扫到、谁的位置更顺手，谁就成了那条角标。这与 RAG（检索增强生成） 流水线的观察一致：进入上下文的候选彼此竞争，表述雷同的来源反而互相稀释署名权。

模型能力短板是另一层原因。站内留档的 RGB 基准显示，多证据信息整合是语言模型在检索增强场景的两大弱项之一（RGB 基准）——选源不精确，正是同一短板在引用环节的表现：模型对“哪份证据真正支撑这句论断”的判断并不可靠。引擎侧一直在改进，但把“引用一定精确”当作前提做策略，赌的是对方的工程质量。

内容方的机会：让机器核验你更便宜

审计的实操含义对内容方是一条明确的机会路径：引擎的选源不确定，恰恰是“可验证性信号”起作用的空间。GEO 奠基论文的九战术实测里，“引用来源”战术带来约 +27% 的可见度提升（九种内容战术效果全表，研究卡见 GEO 奠基论文）——给论断挂清晰出处这个动作，对准的正是引擎的选源不确定性：核验你的成本越低，被选中的概率越高。

写法清单由此展开：每个核心论断都带可追溯的出处；出处本身标题即结论、点开就能对上；参数与数据结构化，机器不需要重排你的页面就能核对；表述与行业通说咬合，降低交叉验证的难度。这些动作的共同逻辑是降低机器的核验成本——多源交叉印证 把一致性铺在多个渠道，本卡说的是把可核验性做进单个页面，两层叠加才完整。

出处的质量还分层。一手来源（原始数据、官方文档、标准原文）与二手转述（聚合稿、百科、转帖）在核验成本上差别很大：一手来源点开即验，二手来源要再追一层。我们的口径是：能挂一手就挂一手，把核验路径缩到最短；只能给二手出处时，至少保证二手与一手的口径一致，别让引擎在你这里验出矛盾。时效同理——给论断挂一条已过期的出处，核验对不上时的代价可能比不挂更大，宁可更新出处，也不要留一个对不上的角标。

风险面：被误引与误配怎么办

审计揭示的另一半是风险。引擎可能把你的页面引在不支持它的语句旁边——语境错配让品牌为一句它没说过的话背书；也可能把你的结论挂到竞品或相反立场的语境里。对这类风险，内容侧能做的是让“结论与证据的对应关系”在页面内足够清晰：小节自含、论断与出处紧邻、参数紧贴适用条件，误配的概率会随页面结构的清晰度下降。

发现误配之后的动作是修结构而不是投诉：先检查被误引的页面里，被引用的段落是否缺少限定词与适用范围，再观察引擎重新抓取后的变化。误配的根源在引擎的匹配算法，但把边界写清，是内容方手里唯一的杠杆。监测误配也要讲采样纪律：同一问题多问几次、跨引擎各问一轮，把偶发误配与稳定误配分开——前者随引擎波动自然消解，后者才值得投入改造；修复之后用同一组问题复测，形成“发现—修结构—复测”的闭环，而不是修完就算。

引用纪律与时效边界

这份审计的对象是 2023 年的引擎，此后几年各家在引用精确度上都有投入，51.5% 不应被外推为任何单一引擎当前的表现。我们的口径：引用数值必注“据该审计（EMNLP 2023 Findings）”；引用结论以方向为主——引用链不完美、选源有优化空间——这两条作为策略出发点，比任何具体数值耐用。对监测工作，它还提示一条纪律：看到自己被引用先别急着庆祝，核对引用语境是否真的支持你——误引带来的露出，本身也是风险面。

还有一层时效提醒：四款审计对象里，有的产品后来已停止服务，但机制层的结论并未失效——只要引用选择仍发生在生成端、只要模型仍要在多个相似来源里挑一个，选源不确定性就还在。读这份研究，读的是机制，不是产品名单；用它的数字时注明年份与对象，是对读者负责的最小动作。