GEO研究 › 知识基础 › 机制原理 › 幻觉的发生机制:错误答案从哪来、为什么删不掉
机制原理

幻觉的发生机制:错误答案从哪来、为什么删不掉

站方综述(机制描述为教科书级共识与公开研究整理;涉及具体引擎行为处已标注来源;所引案例为当事方单源陈述)进阶

幻觉发生在生成端:训练先验与检索证据冲突或缺失时,模型倾向给出流畅而非准确的补位。对品牌意味着错误描述分"先验混淆"与"检索污染"两族,修复路径完全不同——本页拆解机制与声誉防御的机制依据。

AI 在回答里把你的品牌说成了别人的子公司,或者给你安了一条不存在的经营风险——语气笃定,还带着引用。这不是检索搜错了网页那么简单,也不是有人故意黑你那么戏剧化:多数时候,它发生在流水线的生成端,机制名字叫幻觉(hallucination)——模型输出了流畅、自信、但没有充分依据的内容。本页拆解幻觉从哪来、它对品牌被错误描述意味着什么、以及为什么“删帖”这类传统手段在它面前无效。RAG 全链路页讲的是内容怎么被选中,本页讲的是选中之后的合成怎么会出错。

即答:模型的本职是给出“读起来最像答案的文字”,不是给出“经过核实的事实”。当训练得来的先验知识与检索到的证据一致时,输出通常可靠;当两者冲突或证据缺失时,模型不会停下来宣布“我不知道”——该拒答时不拒答是学术基准测出的普遍短板——而是用先验补位、或把两边揉在一起。幻觉不是偶发故障,是这个生成机制的结构性副产品。

机制拆解:先验、证据与三种关系

**第一层:生成机制的本性。**大语言模型逐词预测“下一个最合理的词”,优化目标是流畅与连贯,不是真伪。一段自信的措辞和一段准确的措辞,在生成机制看来没有区别——“听起来像真的”与“是真的”是两回事。这就是为什么错误答案往往语气笃定:确定性是生成的副产品,不是核实的结果。中文侧的实测与之互证:21 世纪经济报道对六款 AI 的新闻引用实测显示平均准确率仅约 25%,普遍特征正是“看似自信实则错误”(媒体实测多源转述口径,见数据卡)。

**第二层:先验与证据的三种关系。**引入检索增强(RAG)后,模型每答一题手里有两样东西:训练固化的先验知识,和上下文里检索来的证据段落。两者的关系决定输出质量:

关系 模型的典型行为 品牌侧后果
证据与先验一致 顺利采用,输出可靠 正常被转述
证据与先验冲突 采信任一方或混合,模型间差异大 新旧信息、正误信息互相打架
证据缺失或噪音 先验补位,幻觉窗口打开 无中生有、张冠李戴

冲突与缺失两种情形的可靠性,学术上有系统评估:RGB 基准(AAAI 2024)对六个模型测了噪音鲁棒、负拒答、信息整合、反事实鲁棒四项能力,结论是该拒答时不拒、面对反事实证据不“反”是普遍现象——检索增强降低了幻觉频率,但把“判断证据可信度”这个难题留给了模型,而模型做得并不好。

**第三层:挂链的松动放大了后果。**即使正文错了,引用列表本可提示用户自行核对——但引用链本身不精确:平均仅 51.5% 的生成语句被引文完全支持(Stanford 四引擎审计,见数据卡)。错误结论配上一个“看起来相关”的引用,比裸的错误更难被用户识破。

**第四层:品牌侧的两族错误。**落到“AI 说错我的品牌”,错误分两族,病因与修法都不同:

  • **族一:先验层混淆。**训练语料里同名、近名实体混杂,模型把特性、风险、归属安错节点——深圳国商联案例(见案例卡)里,AI 把其他实体的负面报道归到该公司头上,报道为真、主体错配,就是典型的实体消歧失败(机制见实体消歧卡)。
  • **族二:检索链污染。**信源池里存在错误或被投毒的内容,RAG 链路如实检回、如实转述——戴文润滑油案例(见案例卡)中 AI 平台出现品牌归属与经营风险的错误讨论,企业方无法确定是幻觉还是污染信源带入,两种来源的修复路径完全不同。

对 GEO 的五条推论

**推论一:先分族,再修复。**族一(先验混淆)删不掉任何帖子,因为它不在任何帖子里——修法是实体一致性建设:全网主体字段统一、百科与目录类锚点固化,让模型在检索与归因时都指向正确节点。族二(检索污染)修的是信源层:向发布平台申诉纠错,同时提高正确版本在权威信源里的密度。诊断错族,动作全部落空。

**推论二:声誉防御的机制依据是“密度换概率”。**AI 的错误回答不是一条可以撤下的内容,而是每次生成现场合成的产物——删除没有对象,覆盖才有对象。正确版本在可信信源里的引用密度越高,下一轮合成采信正确版本的概率越大。戴文案例提炼的五步 SOP——监测、定位、澄清、信源修复、复测——每一步都对着这层机制(SOP 展开见案例卡,监测口径见测量方法论)。

**推论三:确定性语气不可作为正确性信号。**无论拿 AI 回答做客户沟通、做竞品监测还是做自家舆情判断,“语气笃定”的权重为零——25% 的新闻准确率与 51.5% 的语句支持率共同说明,人工抽查核验不可省。自动化监测结果直接当事实层结论,是把生成机制的副产品当成了产品承诺。

**推论四:中文品牌名是幻觉高发参数。**通用词品牌名、多地同名企业、地名前缀省略,都在给先验层喂混淆素材;AI 输出“确定的陈述句”的形态,把搜索引擎时代“用户可自查”的主体错误变成了“AI 替用户定案”。品牌内容里写全称、带主体后缀、全渠道口径统一,是给合成链路留消歧线索的最低成本动作。

**推论五:你也会被“好意误引”。**幻觉的另一面不是凭空捏造,而是边界剥落——把你的限定性结论转述成无限定结论、把 A 型号的参数挂到 B 型号的问句下。防御写法是把限定条件写进结论句本身(适用对象、时间范围、口径前提),让句子被单独摘出时仍带着边界;参数与数据结构化呈现,减少张冠李戴的空间(可验证性写法见引用可验证性数据卡的转译章节)。

常见误解

**“RAG 消灭了幻觉。”**检索增强改变的是证据供给,不改变生成机制——RGB 基准显示噪音鲁棒与拒答短板普遍存在。RAG 之后幻觉的形态反而更隐蔽:有引用撑腰的错误比裸错误更难识破。

**“AI 说错一定有人黑我。”**先验混淆、语料陈旧、实体撞名,都是无动机的机制性错误。先按推论一定位病因,再决定是否需要上升到“被投毒”的判断——跳过诊断直接当攻击应对,动作会全部打偏。

**“发一篇澄清声明就修复了。”**声明能否进引用池、能否覆盖错误版本,取决于信源权重与正确信息的引用密度,不是发了就有效。澄清是对外沟通,信源修复才是对 AI 修复,两件事要都做。

**“向平台投诉就能删除那条错误回答。”**错误不在“那条回答”里——它是合成的,下次提问重新生成。投诉可修的是污染信源(族二),先验混淆(族一)只能靠实体信息密度把正确版本喂进引用池。

限制与待核实

  • HL-01:各引擎的幻觉率无官方数字,本页不引任何“某某引擎幻觉率 X%”;25% 为媒体实测多源转述口径,作量级参考不作精确依据。
  • HL-02:“先验与证据冲突时采信任一方”在模型间、版本间差异大,本页只给定性共识;RGB 基准测的是六个通用模型(2024 年口径),不代表今天任一商业引擎。
  • HL-03:51.5% 出自 2023 年 10 月四引擎审计,数值不代表当前引擎水平,引用链“系统性松动”的定性结论耐用。
  • HL-04:国商联与戴文两案例为当事方单源陈述(经第三方转载),AI 端原始错误回答均无第三方存证;错误成因(幻觉或污染)在两案中都未查明,本页按机制上可能的路径讨论。
  • HL-05:训练先验的具体构成不公开,“先验混淆”是对可观察症状的机制推断,不是对训练数据的直接断言。
最后更新 2026-10-01引用本页请附:https://www.showhoo.net/library/mechanisms/mech-hallucination/