HaluEval（李等）：幻觉的系统化评估基准

HaluEval 是中国人民大学团队构建的大规模幻觉评估基准，2023 年 5 月提交预印本，EMNLP 2023 发表。它回答的问题看似简单却长期没有严谨答案：模型的幻觉到底有多频繁、错在哪些内容类型上、模型自己能不能识别出来。一句话结论：幻觉不是玄学，是可以被抽样、标注、统计的系统化测量对象——这套测量视角对 GEO 从业者的价值，不在于它的具体数值，而在于它示范了“给 AI 答案做事实核查”的完整方法链，品牌侧的纠错监测（见事实纠错监测术语卡）可以直接按这个骨架搭建。

基准怎么搭：真实查询、生成样本与人工标注

基准的样本分两块。第一块是五千条真实用户查询及其 ChatGPT 回答——直接从用户实际提问出发，检验开放对话场景下模型回答的幻觉率，这条样本链的价值在于它是真实分布，而不是研究者自拟的问题。第二块是任务态样本，覆盖问答、知识对话、文本摘要三类任务，共三万条，其中幻觉样本一部分由模型生成、一部分经人工标注确认。

评估设了两个方向的任务。判别任务给模型一对内容，让它识别哪条是幻觉——测的是模型的自我察觉能力；生成任务则反过来构造条件诱导模型产出幻觉——用于定位模型的信息盲区在哪些类型的内容上。这种“正反双向”的设计对品牌侧特别有借鉴意义：只测“答案对不对”会漏掉“模型在什么条件下容易错”，而后者才是预防性内容工程的依据。

对 GEO 监测的含义：品牌侧的事实核查清单从哪来

把 HaluEval 的方法链平移到品牌场景，能得到一套可操作的核查流程。第一步固定问题集：像基准聚合真实用户查询那样，从客服记录、搜索词报告中提取真实买家问题，而不是自拟宣传话术式问题（提问集的建设方法见提问集术语卡）。第二步定期采集答案：固定引擎、固定采样次数、固定采集节奏，让不同轮次的数据可比。第三步对照打标：拿官网口径、产品手册、已发布公告当基准文本，逐条比对 AI 回答里的品牌事实，错误归类为过期信息、张冠李戴、参数失真等类型。

这套流程跑起来之后，产出就不再是“我们觉得 AI 经常说错我们”，而是一张有比率的错误清单：错误率按引擎分、按问题类型分、按错误类型分，每条附原文出处与建议纠正口径。监测的价值层级因此改变——从舆情体感升级为可管理的工程对象，纠错优先级也第一次有了排序依据。错误发现之后的处置流程（定性、纠正、复盘）见负面提及与错误陈述应对方法页。

判别与生成双任务：一套方法两种用法

论文把评估拆成两个方向的做法，值得品牌侧照抄。判别方向对应“验收”：给评审者一对材料，一条有事实错误、一条正确，测它能否分辨——换成品牌场景，就是让核查流程（人工或脚本）对 AI 回答里的品牌陈述做正误判别，产出错误率。生成方向对应“压力测试”：主动构造容易出错的场景——新品发布、易混淆的竞品名、生僻参数——看引擎在哪些条件下开始编造，摸清自家品牌的“信息盲区”分布。

两种用法合成一套季度动作：常规轮次跑判别，固定问题集、统计错误率与错误类型；专项轮次跑诱导，围绕新内容与易混淆点构造问题、定位薄弱区。判别可按月滚动，诱导按版本变更或新品节奏触发；两份数据分别回答“现在错多少”与“哪里最容易错”，缺任何一半，纠错资源都无法排序。

自建核查清单时还有一层技术提醒：判别环节若用另一个模型当评审，要意识到评审模型自己也会错，拿不准的样本必须保留人工复核通道；错误类型学的标准要先于打标定稿，否则不同轮次的错误率不可比。

对内容工程的含义与证据口径

测量视角反过来也会改变写作视角。既然幻觉高发于模型的信息盲区，那么内容工程的目标就是把自家领域从“盲区”变成“有据可查区”：参数、日期、对比结论这些幻觉高发的内容类型，恰恰应该在官网上写得最清楚、口径最统一，让引擎即便取材也有正确的底稿。对照读法上，HaluEval 测的是“模型错在哪”，站内另一张卡测的是“生成语句有多少能被引文支持”（见可验证性审计文献卡），两份数据合起来给出同一结论的不同切面——引擎答案的可靠性是有缺口的，缺口可以用内容侧的供给去收窄。

证据徽章口径交代如下。本卡定级学术：基准构造、样本规模与双任务设计出自经同行评审的论文，题录与引用以 arXiv 与 ACL Anthology 官方页面为准。三条边界要保留：其一，基准时点是 2023 年的模型版本，具体幻觉率对当前模型不可迁移，可迁移的是测量方法而非数值；其二，基准测的是通用开放域，品牌场景的错误率需要自建问题集实测；其三，人工标注样本的判读口径以论文描述为准，品牌侧打标时应按自家业务另行定义错误类型学。配合阅读建议：先读RAG 幻觉术语卡补幻觉的概念分类，再回到本卡看测量怎么做，最后用AI 品牌描述术语卡把监测对象从“事实对错”扩展到“定位与情感是否失真”。