GEO研究 › 知识基础 › 机制原理 › 切块策略:固定长度、语义与标题感知的三种切法
机制原理

切块策略:固定长度、语义与标题感知的三种切法

站方综述(机制描述为教科书级共识与公开研究整理;各引擎具体切块参数未公开,涉及实证处已标注来源)进阶

切块粒度决定检索的命中单位:固定长度切块便宜但拦腰截断论点,语义切块按意思分段,标题感知切块沿文档结构走。写作侧的对冲动作只有一条——每节先给自含结论,让任何一种切法都切在安全处。

页面被 AI 引擎收入检索库前,要先被切成块(chunk)——这个工程细节决定了检索的命中单位是小段而非整页,也因此决定了写作者真正的备考范围:你无法控制引擎怎么切,但可以决定每一刀切下去落在哪都是完整的。切法在工程上有三个流派:固定长度按 token 数硬切、语义切块按意思转折下刀、标题感知切块沿文档结构走;三者没有全局最优,各家引擎与 RAG 框架的参数也都不公开。这恰恰推出一个对写作者极有用的结论:既然切法不可知,唯一稳赢的写法是让页面在任何一种切法下都不吃亏——而这正是即答段与块级自含写法的工程依据。本页拆三种切法的机制差异,以及它们对写作的收敛要求。

机制拆解

切块在流水线的位置与后果

切块发生在最上游:抓取→切分→向量化→入库。切块一旦完成,后续所有环节都以块为单位——与用户问题算相似度的是块,被取回塞进上下文的是块,被摘录转述的还是块。这意味着两个后果:其一,块的边界如果拦腰截断一个论点,这个论点就永远无法完整参赛;其二,一个块如果混杂多个主题,它在向量空间里的“位置”就是几个主题的混合体,跟哪个具体问题的相似度都不突出。切块的质量上限锁死了后面所有环节的上限。

三种切法对照

切法 怎么切 优点 风险 对写作的要求
固定长度 按 token 数硬切,常带重叠窗口 实现最简单,块尺寸均匀可控 论点被拦腰截断,表格与定义被拆散 关键结论不能押在段落中后部
语义切块 按句向量的相似度突变点下刀 块内主题一致,检索噪声小 依赖模型判断,长段落可能整块过大 段落粒度均匀,一段一事
标题感知 沿 H2/H3 或 Markdown 结构切 边界与语义天然对齐,块的标题可直接做元数据 小节本身过长或过短时失效 小节结构清晰,标题自含

固定长度是最老也最常见的兜底切法,重叠窗口(前后块共享一小段)用来缓解边界截断,但“缓解”不等于解决——重叠只是把断点复制了一份。语义切块用嵌入相似度的骤降识别话题转折,切出来的块主题纯净,但对“一整段都在讲一件事”的写作才有最佳输入。标题感知切块直接借用作者的排版劳动:H2/H3 是作者亲手标注的话题边界,顺着切最省力也最贴语义——这是“文档结构对 AI 有工程价值”的最直接体现。工程综述(如 Pinecone 的 chunking strategies)把三者列为通行选项;具体引擎用哪种、参数几何,均未公开。

块的组装细节:重叠与标题回填

两个工程细节值得写作者知道。重叠窗口:相邻块共享部分文本,防止结论恰好落在切点上——但对写作者的含义是“别把唯一一次的结论放在段尾”,重叠救不了只出现一次且位置刁钻的论断。标题回填:结构感知的切块常把标题(或标题路径)附加到块文本上,弥补块脱离原文后的语境缺失——这意味着小节标题不是排版装饰,它会跟着块一起被检索与阅读,标题里有没有关键词、是不是用户的问法,直接进入相似度计算。

粒度的两难与写法的收敛

块太小,单块信息不足以独立成答,检索命中了也拼不出完整判断;块太大,主题密度被稀释,相似度排序时处处通不过。工程上这个两难没有普适解,各家调参不一。但对写作者,三条切法的收敛要求是同一条:小节粒度均匀、一节一事、节首即答。做到这三条,固定长度切法大概率切在小节内部的衔接处且节首结论已在块的前部;语义切法得到主题纯净的块;标题切法得到自含的小节——三种不可知的切法,被同一种写法全部覆盖。这就是“适配切块的写作”的含义:不是猜测参数,是消除参数的影响。

对 GEO 的四条推论

推论一:即答段是对冲切块不确定性的唯一写法。 每个小节开头两三句自含结论,写法与自查方法见即答段卡——它的本质是替引擎把“最好的那一刀”预先做好,让任何切法都能把完整答案完整带走。

推论二:结构是小节级即答段的前提。 一整屏不分节的“墙式长文”,标题感知切块无从下手,退回固定长度硬切,断点全凭运气。H2/H3 结构、问句式小标题,既是给读者的导航,也是给切块器的分界线;被引文本含问句概率约高一倍的实证(见前 30% 引用数据卡,服务商单源)在检索侧同样支持问句标题。

推论三:切块改造救不了同质内容。 结构优化让既有信息更可检索,但检索与精排奖励的是语料里没有的新信息——同题千文的“结构化重发”改变不了信息增益为零的事实,见信息增益卡。切块是必要条件,不是充分条件。

推论四:块的最后命运由精排裁决,写作要按精排口味准备。 检索取回的候选块还要过一道逐对精读的相关性打分,机制见交叉编码与相关性与重排序机制——“读起来像直接答案”的块在这一关胜出,铺垫式块被弃用。切块决定入围,块内写法决定晋级。

常见误解

“切块是引擎的事,与作者无关。” 切块参数确实不归你管,但切块的质量下限由文章结构决定。三种切法对同一个页面的切分结果差异巨大——结构良好的页面在哪种切法下都得出干净的块,结构差的页面在哪种切法下都得出碎片。

“块越大越完整,信息越多越好。” 块的竞争货币是与问题的相似度,不是信息总量。大切分的块在向量空间里主题混杂,相似度排序时“哪都不像”;检索系统宁可要一个精准的小块,也不要一个包罗万象的大块。

“部署了 llms.txt 就不用管结构了。” llms.txt 是站点级导览声明,据 Ahrefs 对 13.7 万域名的统计 97% 的文件全月零请求(见llms.txt 采纳研究)——它与块级检索是两个层面的东西,救不了页面内部的结构缺失。

限制与待核实

  • 三种切法是工程通行做法的类型学描述(见 Pinecone 等工程综述),各引擎与 RAG 框架的真实切法、参数(块尺寸、重叠比例)均未公开;本页不对具体产品做行为断言。
  • 标题回填是否为某引擎的实际做法,无公开口径;但“标题进入块文本”在主流 RAG 框架中是常见配置,写作者按“标题会被一起读到”准备是稳健策略。
  • 44.2% 与问句概率的实证为服务商单源、ChatGPT Search 口径,跨引擎外推需自家审计。

引用来源

  1. Pinecone: Chunking Strategies(工程通行做法综述)
  2. GEO: Generative Engine Optimization(arXiv:2311.09735,KDD 2024)
最后更新 2026-10-01引用本页请附:https://www.showhoo.net/library/mechanisms/mech-chunking-strategies/