检索增强生成全链路解剖：四步流水线与三类失败

用户在 AI 搜索里问了一个问题，几十秒后得到一段带引用的答案。这段答案不是从某个数据库里“查出来”的，而是被生产出来的——生产它的流水线叫检索增强生成（RAG）：先检索外部内容，把结果作为上下文增强给模型，模型合成答案，最后挂上出处。本页是机制原理栏的总纲，也是 RAG 术语卡的长文版：术语卡回答“是什么”，本页回答“每一步怎么运转、会怎么失败、失败了对 GEO 意味着什么”。本栏其余各页各 zoom 进流水线的一段——向量检索看第一步的匹配原理，重排序看候选怎么排出座次，查询扇出看问题怎么被拆成多路，引用选择看生成端怎么决定引谁。

先把整页的即答给出：你的内容从被抓取到被用户看见，要连过四关——被切块检索命中、被装进上下文、被转述进答案、被挂上引用。四关各自有独立的失败模式，而且失败位置决定对策：在第一关出局的页面，加引语、加统计这些生成端战术毫无用处，因为战术的作用对象根本没进流水线；在第三关被挤掉的段落，再怎么优化标题也没用，因为问题出在转述选择而不是检索命中。“没被引用”不是一个问题，是三个不同的问题。

机制拆解：四步流水线，四道漏斗

整条流水线长这样，每一格下面标注该步的主导失败模式：

用户提问
   │
   ▼
① 检索 ── 页面预先被切成内容块，与提问做相似度匹配，取回候选
   │      失败模式：块未命中——内容根本不进入流程
   ▼
② 增强 ── 候选块与提问一起填进模型的上下文窗口
   │      失败模式：进了窗口但埋在中部，被忽略
   ▼
③ 生成 ── 模型基于上下文合成答案，决定转述谁、怎么措辞
   │      失败模式：选中未用——被更贴题或更可信的块挤掉
   ▼
④ 引用 ── 把答案与来源对齐，产出角标或文末来源列表
          失败模式：用而未引——内容进了答案，出处没挂你的名字

**第一步：检索，决定谁有资格上场。**入库阶段，页面被抓取后切成内容块（chunk）、向量化、存进检索库；提问阶段，系统把问题与全部块做相似度匹配，取出最相关的少数几块。多数引擎的检索不是单一通道：语义向量匹配负责“意思相近”，关键词匹配负责“字面命中”（型号、参数、专有名词），两路结果融合排序——这解释了为什么问句式表述与精确术语要同时存在于一个好页面上。匹配原理的数学展开见向量检索机制页，切块对写作的约束见 Chunk 术语卡。这一步的失败是结构性的：段落依赖上下文才可懂、结论埋在节尾、一节混三个主题，切块之后都是低相似度碎片，连候选都进不了。

**第二步：增强，决定进场的块坐在哪个位置。**候选块与提问一起进入上下文窗口，但窗口里的块不是被平等阅读的：多文档问答中模型对首尾信息利用充分、中部显著忽略，性能呈 U 形（Lost in the Middle 术语卡）。排位靠前还是靠后、页面上结论前置还是后置，都改变同一块内容被吸收的概率。这一步的失败最隐蔽——内容明明“被检索到了”，却像把话对着一堵墙说了。

**第三步：生成，决定转述谁。**模型面对上下文里彼此竞争的多个块，按语义支持度（这段话是否直接支撑要写的那个论断）、来源可信信号、信息的新颖度做取舍。学术评估（RGB 基准）指出该拒答时不拒答、多证据信息整合不力是这一代模型的普遍短板——引擎的“质检”并不完美，这既是风险也是内容方的机会：同一结论在多个独立渠道语义一致的内容更容易被采信（见多源交叉印证），带独有数据的那一块更容易被点名转述。生成端怎么选、位置与权威怎么加权，专文见引用选择机制页。

**第四步：引用，决定名字挂在哪。**合成完成后，系统把答案语句与来源对齐，产出引用——形态有两种：角标嵌进正文（转述与出处紧贴），或来源统一列在答案尾部（正文只留链接文字）。挂链是独立的一步，而且不精确：Stanford 对四个生成式搜索引擎的人工审计显示，平均仅 51.5% 的生成语句被引文完全支持，74.5% 的引文真正支持对应语句（arXiv:2304.09848，口径见数据卡）。“被转述”与“被列为来源”由此成为两个可以分离的事件——正文被整段改写但列表没挂你，或列表挂了你但正文只字未提，在流水线上对应不同的失败位置。

对 GEO 的五条推论

**推论一：先定位失败步骤，再动手改。**三类失败对应三张不同的工作清单：检索失败（块未命中）的对策在结构与选题——自含段落、问句标题、真实提问覆盖；选中未用的对策在可验证性与权威信号——引语、出处、多源一致；用而未引的对策在出处清晰与品牌词在场。笼统地说“没被引用”，等于放弃诊断；绝大多数“GEO 做了没效果”的项目，问题是动作挂错了格子——用生成端的战术去救检索端的失败。

**推论二：检索层是内容方唯一可运营的层。**模型的知识有两条来源：训练语料是参数层，长周期、无反馈、几乎不可操作；外部检索是上下文层，收录、切块、相似度、出处每一步都有对应的内容动作。RAG 的存在让“影响答案”有了这条不触碰模型本体的路径——这也是 GEO 与“喂语料”幻想的分水岭：指望内容被训练进模型路径模糊且无法验证，指望某页内容在具体问题上被检索命中并转述，路径清晰、可测试、可迭代。

**推论三：进入上下文后，块与块是竞争关系。**同一问题取回的多个来源若表述雷同，模型难以分辨谁原创谁转述，引用选择就近乎随机；带独有数据或独有表述的那一块更容易被点名。这把信息增益从姿态变成了竞争策略——在上下文里，“和别人不一样”直接决定被转述的概率。

**推论四：提及与引用是流水线不同位置的产出，必须分开记两本账。**提及率看的是生成格的正文（有没有说到你），引用率看的是引用格的产出（参考列表有没有链到你），两个指标对应流水线的不同位置、可以背离存在，混在一张表里读会互相稀释（口径见引用率术语卡与提及率术语卡）。

**推论五：全链路都有随机性，单次回答不构成结论。**检索的相似度计算、生成的概率采样、挂链的对齐误差，每一格都引入波动——同一问题多次提问可能引用不同来源。这决定了监测的方法论底线：固定问题集、多次采样、看分布与趋势；不交代采样口径就比较两个时间点的“被引用与否”，读数没有意义。

常见误解

**“RAG 就是实时搜全网。”**流水线是通用骨架，但检索供给各家不同：有的引擎用自家常驻索引，有的深度整合自家生态内容——AIO 的供给就是 Googlebot 常规索引，腾讯元宝的引用高度集中于腾讯生态。同一页内容在不同引擎的流水线上走出不同命运，分引擎测量因此不是偏好而是必须。

**“被检索到就会被引用。”**四步各自漏损。检索只是第一关，后面还有位置吸收、转述选择、挂链对齐三道损耗；把“进了候选”当成“赢”，会在第二关就开始误判。

**“引用列表是事实背书。”**51.5% 的语句级支持率说明引用链天然松动——句尾挂了编号不等于那句话有出处背书。对用户，引用列表是“进一步阅读的入口”；对内容方，它同时意味着误引风险也要管理。

**“失败都是内容质量的问题。”**不全然。抓取不可达、渲染失败、robots 误屏蔽，都会让内容死在进流水线之前——排查时先确认“能不能被抓到”，再看“被抓到后走到哪一格”。

限制与待核实

• RP-01：各引擎的流水线细节（切块策略、排序层数、融合权重）不公开，本页是该代检索系统的教科书级共识抽象，不是任何单家引擎的架构图。
• RP-02：51.5% 与 74.5% 出自 2023 年 10 月对 Bing Chat、NeevaAI、Perplexity、YouChat 四引擎的审计；引擎此后多轮迭代，数值不代表今天水平，定性结论（引用链不精确）比数值耐用。
• RP-03：四步各自的漏斗损耗比例没有任何公开数字，本页只给失败模式分类，不编造各步的“淘汰率”。
• RP-04：第二步的 U 形位置偏差是统计倾向而非铁律，模型迭代在缓解但纪律仍成立，辨析见 Lost in the Middle 术语卡。