Lost in the Middle（中部遗忘） Lost in the Middle

Lost in the Middle（中部遗忘）指多文档问答中大语言模型的位置偏差：把关键信息放在长上下文的不同位置，模型对它的利用率呈 U 形曲线——开头与结尾的信息被充分利用，中部信息显著被忽略。这是 TACL 2023 年同名论文给出的系统实证，在多文档问答与 k-NN 检索两种范式下都稳定出现，也是理解 RAG 引用行为的基础文献之一（研究卡 有完整留档）。

实验是怎么做的

论文的做法是把“回答所需的关键证据”放进长上下文的不同位置，再测量模型回答质量随位置的变化。结果是稳定的 U 形：证据放在开头效果最好，放在结尾次之，放在中部最差；上下文越长、候选文档越多，中部的塌陷越明显。多文档问答与 k-NN 检索两种范式都复现了同样的形状，说明这不是某一个模型的怪癖，而是这一代语言模型利用长上下文的通性。

换个角度读这组实验还有一层含义：模型的行为更像“重读两端、略读中部”的读者，而不是逐字消化全文的机器。给这样的读者写材料，人类文档工程里早有对应惯例——摘要置顶、结论前置、附录殿后——GEO 做的事情，很大程度是把这套老纪律在新介质上重新执行一遍。

机制上可以做定性理解：模型对上下文的注意力分布并不均匀。开头与指令区相邻，形态上贴近训练数据里常见的“先给材料”结构；结尾与生成动作直接衔接，天然靠近输出端；中部既要与同侪竞争注意力，又远离两端的着力点，信息容易被稀释。窗口参数的拉长解决的是“放得下”，不自动解决“用得上”——这也是为什么“超长上下文”的产品宣传与“中部遗忘”的实证可以同时成立。

还有一层辨析值得做：U 形描述的是统计倾向，不是铁律。同一模型在不同任务、不同问法下，曲线的深度并不一样；模型迭代与指令跟随的改进会缓解中部利用不足，但“重要信息放两端更保险”作为写作纪律，在可预见的时间里都不会失效。把它当工程约束而非物理定律来用，就不会过度设计。

对内容方的含义是反向的：不要赌模型会自己克服位置偏差，要把重要信息放到偏差曲线的高位去。下面的三条推论都由此展开。

推论一：chunk 的排位影响被吸收的概率

在 RAG（检索增强生成） 流水线里，内容先被切成 Chunk（内容切块），检索命中后按相关度排位进入生成上下文。位置偏差直接映射到这里：排在前面的 chunk 更靠近曲线的有利端，被吸收进答案的概率更高；排在后面的 chunk 即便语义相关，也可能落进中部塌陷区。因此“被检索到”只是必要条件，“被排前”才是竞争力——语义对齐、权威信号、与问题的直接相关度都会改变排位。内容侧能做的，是提高“被排前”的竞争力，而不是指望引擎大发慈悲。

排位还与查询形态联动。同一 chunk 在不同问法下的相关度排序不同，长尾问法里它可能排前，头部问法里可能沉底；给核心结论做多个角度的自含表述，等于在不同问法下都保留一次前排机会。这也是“一主题多切块、每块带结论”的又一重理由。

粒度是排位之外的第二变量。把一个主题切成更小的自含 chunk，每个 chunk 都携带完整结论，等于增加“整块进入有利位置”的机会；反之，大切分把结论与证据绑在一个长块里，块内信息注定有一段落在不利区。切块时先想位置，再想完整性。

容易误读的两点

第一，“开头结尾好”不等于可以滥用。把无关信息硬塞进开头凑“有利位置”，改变的是语义相关度本身——位置优势的前提是内容相关，错位的前置只会让整块内容在检索端就出局。位置战术永远排在语义对齐之后，这是顺序问题，不是取舍问题。

第二，结尾的优势弱于开头，且依赖结尾确实被完整送进上下文。长页被抓取时截断、只取前半，都会让“把结论放结尾”的算盘落空。相比之下，前置结论对抓取与渲染的鲁棒性更好——这也是即答段优于“尾段总结”的工程理由。

推论二：页面内也要“答案前置”

位置效应同样适用于页面本身。站内留档的服务商统计显示，44.2% 的 ChatGPT 引用来自页面前 30% 的内容（数据卡，服务商单源口径），配套发现是被引文本含问句的概率约高一倍。这两条合起来支持“答案前置”结构：页面开头直接给出核心结论，细节与论证向后放。即答段 战术与此互为表里——把核心论断写成自含的即答段并置于页首，等于主动占据曲线的左端。

页面结构的改造还有个顺序讲究：先改模板再改存量。栏目页与详情页的模板决定了每篇新内容的默认排布，先把模板里的核心区块提前，存量页面再分批补即答段；反过来先改存量，新页面会继续按旧模板生产，改造永远追不上发布。

验收同样要有标准：改造后的页面，在纯文本视角下首屏应当出现核心结论的完整句子，而不是只出现在标题或图片里。用纯文本模式自查页面是最廉价的验收方式——模型读到的就是这层纯文本。

落到写作纪律上就是两句话：每篇先答后述，每节先结论后展开。用户与模型都优先看开头，两种读者偏好一致时，没有理由为难的布局留到后面。

推论三：段落尺度的中部与计分口径里的位置

核心论断不要埋在页面或段落中部——段落是内容被切分后的最小上下文，位置效应在更小尺度上同样起作用。段落开头给结论、证据随后，是最省力的结构改造，也是对中部遗忘最直接的防御。改版时优先检查长段与长页：三段以上的铺垫、藏在文中的关键参数，都是高优先级改造对象。

计分口径也内置了同样的偏好：GEO 奠基论文采用位置加权的评价方式（PAWC（位置加权词数）），答案里越靠前的词权重越高。也就是说，位置既影响内容是否被吸收，也影响战术效果如何被度量——把关键信息前置，是在内容与计分两个环节同时受益的动作。

位置纪律不是孤立战术，它和即答段、问句式小标题天然成套：即答段解决“结论在哪”，问句标题解决“被检索匹配的形态”，位置纪律解决“放进上下文后的吸收率”。三层叠加，才构成一条从检索到生成都有位置的完整链路；只做其中一层，效果会在另一层漏掉。

还有时间维度：位置改造是结构动作，收益随引擎重新抓取逐步兑现，不像投放那样即时。给改造设定观察窗口，用固定的提示词集前后对比引用位置与频率，才能区分“没效果”与“还没生效”——位置战术的失败，很多时候只是被误判成了生效太慢。

组合之外也有成本约束：并非所有页面都值得全套改造。优先改造已被引用或接近被引用的页面、核心转化路径上的页面，长尾存量按流量与战略价值排队——位置改造的投入回报，同样服从分层的规律。