采样方差（Sampling Variance） Sampling Variance

采样方差（Sampling Variance）指同一提问在多次生成中得到的回答之间的差异：生成式引擎的输出带随机性，同一问题问两遍，推荐的名单、引用的来源、措辞的结构都可能换血。对测量而言这不是瑕疵而是前提——AI 回答是概率事件，不是确定性检索，单次提问只是一次抽签。我们的一手实验把这个量级钉在了台面上：同一问题两次回答的文本相似度只有 0.25 左右，接近全文重写级（口径见秀虎GEO 测量方法论）。

随机性有多大：一组对照实验的读法

2026-10-01 我们做过一组出口对照实验：香港出口对北京出口，三个平台、每平台若干题，共二十次采集。同出口重测的相似度约 0.251，跨出口约 0.243——两个读数几乎贴在一起，含义是出口地区变量几乎没有贡献，波动几乎全部来自采样随机性本身。实验还给出一个对实践更重要的结构观察：头部推荐名单在两次回答之间相当稳定，长尾名单每次都在变。换句话说，能横向比较的是「谁在头部」，单次回答里的具体排位本就不是稳定量。

实验还留下一个方法学提示：对照实验的设计要能把变量拆开。同出口重测隔离解码与检索随机性，跨出口对照再叠加地区变量，两组读数一减，地区效应的大小就现形了。没有这层设计，「波动大」只能停留在体感，永远变不成可执行的治理决策。

单日波动的极端形态在限制清单里也有留档：同题两次回答的相似度实测区间在 0.14 到 0.37 之间，覆盖从措辞微调到名单换血的不同程度。这两组数字合起来的工程含义只有一句话：任何单日单次读数都不构成结论，趋势判断至少要求两次以上的一致观察，并以多天窗口呈现——这正是监测系统把观察窗拉到十四天的理由，而不是把精力花在寻找「更稳定的出口」上。

随机性从哪里来

三个来源叠加。其一是解码随机：模型的采样过程天然带随机性，同一段上下文也能走出不同路径，机制层面可参考温度、解码与可复现性。其二是检索波动：提问触发的检索链条——改写、召回、重排——本身对时间、负载与上游索引状态敏感，候选池漂了，答案自然漂。其三是会话上下文：登录态、历史会话与个性化记忆都会让「同一个问题」在不同账号、不同时刻下变成两个不同的输入，个性化机制对答案的作用面在站内机制卡里有单独展开。

区分来源不是学究癖，因为它决定治理动作。随机性来自解码，就拉长窗口摊平它；来自检索供给变化，就要盯索引与收录；来自会话画像，就要固定采集账号并接受单账号视角的限制。把三种来源混为一谈，最常见的后果是误判——把一次解码抖动当成索引掉了，或者反过来，把索引真掉了当成「随机波动」拖到丢失半个月数据才处理。

报区间不报单点：报表与口径的落法

纪律落到报表上就是三条。第一，多采样：同一提问在多天、多次采集后聚合出命中率或区间，竞品对比与时间点对比都以聚合值为准；采样少于既定次数的格子不做环比，写「不报」。第二，报区间：核心指标给出波动带而非单点，涨跌先看是否出带，带内变化一律按噪声处理。第三，分母如实：当日采集失败记缺失而不是零，「没测到」与「没提及」是两个概念，混用一次整条序列的可信度清零。这套呈现规范在监测指标体系实操里有完整的字段级落实。

口径选择上，单次采样与多次采样的区别不是精度差一点，而是会不会系统性制造假涨假跌——一轮一次的监测会在噪声里挑出「规律」，展开辨析见单次采样 vs 多次采样口径。预算紧张时的取舍次序也由此确定：先保采样次数，再保提问数量，最后才是引擎数量，因为方差不治理，铺再多的题都只是在收集噪声。

多次采样还有一个要接受的纪律性副作用：它让「快」变得不可能。聚合需要时间，观察窗需要天数，任何想在一周内拿到「提升证明」的诉求都和数据性质冲突。我们宁可让结论迟到，也不让单点读数提前上会——被噪声推动的决策，纠错成本远高于等待成本。

两种最常见的误读

误读一，把单点涨跌当业务信号。某天某引擎突然提及了你，第二天又消失——这在概率事件里毫无信息量，但它是汇报事故的高发区：「我们上 AI 了」的截图，多数是长尾名单的一次随机命中。对策是把「两次以上一致观察」写进汇报纪律，单日快照只配「当日快照」四个字的解读权重。

误读二是反向的：以随机性为借口放弃测量。方差大不等于不可测，只等于不可单点测——伯努利试验单次不可测，多次聚合的命中率却相当稳定，这正是概率测量的常规操作。把采样方差理解成「需要更多采样」而不是「测不了」，监测体系就能在噪声之上立起来；答案稳定性本身怎么度量、什么时候值得单独监测，见答案一致性（Answer Consistency）。对基线的含义同理：基线期必须预留观察窗，把波动带一起冻结，否则复测的一切涨跌都在跟噪声对账，起点见基线测量（Baseline）。

两者的折中也有工程解：对高价值的核心提问单独提高采样密度做重点盯防，其余长尾题维持基础频率。预算有限时，方差治理的火力应当集中在少数决定汇报结论的题目上，而不是平均铺开——这不是精度让步，是把有限样本用在读数权重最大的地方。