出口对照实验：同题回答相似度 0.25，地区效应≈噪声
本页是测量方法论中“采样与波动”一节的完整实验档案：为什么我们断言“任何单日数字都不构成结论”、为什么治理波动的动作是拉长观察窗而不是换出口——证据都在这里。
实验设计
问题：监测中国 AI 平台时，采集出口（服务器所在地）会不会系统性改变 AI 的回答？如果会，香港出口的数据就不能代表大陆用户看到的答案——这是所有出海监测工具都必须回答的合规与效度问题。
设计：三变量拆解。同一批提示词（3 平台 × 3 题，共 20 次采集）在同一天完成，分别走香港出口与北京出口（大陆住宅级线路），另做同出口重测对照组：
| 对照组 | 隔离的变量 | 读数（回答文本相似度） |
|---|---|---|
| 同出口重测（香港 vs 香港） | 采样随机性 | 0.251 |
| 跨出口（香港 vs 北京） | 采样随机性 + 地区效应 | 0.243 |
| （参照）跨平台同题 | 全部变量 | 显著更低（不同引擎本就不同答案） |
相似度为文本向量化后的余弦类指标，0-1 取值。实验于 2026-10-01 单日完成，以压缩时间效应（索引与热度的日常漂移）这一第三变量。
读数与归因
关键比较是前两行：0.251 对 0.243 几乎没有差距。如果地区效应显著，跨出口读数应明显低于同出口重测——实际只低了 0.008，而两次“完全相同条件”的重测本身就有 0.25 的差异。结论：单次回答的随机性（采样噪声）比地区效应大一个量级以上，地区变量在本实验精度下接近不可测。
回答不一致的来源可以拆成三个：采样随机性（同一提问多次生成天然不同）、出口地区效应（不同地区检索供给可能不同）、时间效应（索引漂移）。本实验的设计让三者可分——同出口重测隔离出纯随机性，跨出口对照叠加地区变量，同日完成压住时间变量。数据说：噪声几乎全部来自随机性本身。
两个次级发现
头部稳定、长尾善变：两次回答不一致的主要是长尾推荐名单；头部厂商名单（谁被提及）在两种出口下稳定。含义：能横向比的是头部名单，长尾位次在单次回答里本就不是稳定量，对它做逐日解读是过度读数。
相似问题的回答相似度远高于相同问题的两次回答：语义相近的不同问法反而比“同一问法再问一遍”更稳定——提示检索链路对表层措辞的敏感高于对语义的理解，这与chunk 检索的机制一致。
对监测实务的三条推论
- 治理波动靠拉长窗口，不靠换出口：把随机性摊平在 14 天窗口里，而不是徒劳寻找一个“更稳定的出口”。产品口径因此以 14 天趋势呈现（见测量方法论）。
- 出口合规化可行：既然地区效应≈噪声，监测服务可以合法地用境外出口采集，数据效度损失可忽略——前提是接受“测的是无个性化干扰的公共答案面”这一口径。
- 不要为单日波动写归因报告：0.25 的天然方差下，任何“今天比昨天下降 X%“的单日解读都可能是噪声。
限制与待核实
- 样本量小（20 次采集、3 题），结论对“头部稳定”较强、对“地区效应精确为零”较弱——后者严格说是“低于本实验可测精度”；
- 只测了 3 平台（豆包、DeepSeek、Kimi），元宝/千问未入组；
- 相似度指标对“事实清单相同但措辞不同”与“实质不同”的区分有限，读数应结合人工核对理解；
- 单日实验无法排除“地区效应在某些时段/话题上出现”的可能，本实验只证明它不是常态性大变量。