GEO研究 › 实战 › 方法与战术 › 秀虎GEO 测量方法论
方法与战术 · 文章

秀虎GEO 测量方法论

服务商单源(站方自述与一手实验数据,未经第三方复核)中国参考更新 2026-10-01

涉及引擎:豆包DeepSeek腾讯元宝Kimi通义千问

我们用登录态浏览器在中国五个消费级 AI 平台的网页端实采真实回答,测用户实际看到的答案而非 API 响应;固定提问、每日一次,看多天趋势而非单点。

本页公开秀虎GEO 的测量口径与全部已知限制,供客户与同行核验。口径说不清的监测数字没有价值——这是本页存在的原因。

我们测什么

在中国五个消费级 AI 平台——豆包、DeepSeek、腾讯元宝、Kimi、通义千问——的网页版,用真实登录会话提交固定问题,采集 AI 生成的完整回答。指标是提及率、引用情况与情感倾向,即品牌提及在答案中的分布。

为什么是这五家:它们是中国用户拿生成式 AI 回答问题的主要入口,而这个「主要」有官方口径的底盘——生成式 AI 用户已达 5.15 亿,其中 80.9% 用它回答问题,规模与用途口径见中国生成式 AI 用户 5.15 亿。用户在哪里被回答,测量就要跟到哪里;平台清单跟随用户行为迁移复核,不在监测窗口内临时增删。提及与引用分开记两本账:提及看正文有没有说到你,引用看参考列表有没有链到你,两类资产错位存在,指标定义见引用率(Citation Rate)。

为什么是浏览器实采,不是 API

业界有两条监测路线:调模型厂商 API,或像我们一样用浏览器打开用户实际使用的网页/App。两条路线测出来的不是同一个东西——API 响应与消费端界面答案存在口径差异(联网检索范围、界面推荐位、会话上下文等因素),这一点在同业工具的文档中也被明确提示。中国五个平台没有开放「带联网检索的对话 API」,API 路线事实上测不到国内用户真实看到的答案,所以我们选了浏览器路线。代价是必须运维登录态、对抗平台风控、适配界面改版——这些成本换来的口径,是「用户真实看到的」。

这条取舍的边界也要说满。API 路线并非没有优点:稳定、可批量、不碰风控,适合做开发调试与粗粒度探针;我们自己也用 API 做辅助验证,但从不把 API 读数写进客户报表——报表里的每一个数字都来自浏览器实采。两轨并行、只用一轨出数,是我们对「口径」二字的执行方式。引擎侧的结构性差异(有的平台 API 与网页端差异小、有的差异大)我们不逐一披露判断,只守住「同一平台、同一采集面、同一时间序列」的底线,避免跨口径比较。

提问设计

三类固定探针,写作后冻结不改(改动即在新版本记录中声明断点):

  1. 品类推荐题:不点名任何品牌(如「分段绝缘器生产厂家」),看谁被 AI 推荐——对应AI SOV口径;
  2. 品牌关联题:点名品牌问对比,看 AI 如何描述与定位;
  3. 站点评价题:问某站点的行业地位,看 AI 的定性判断与信源。

品类题坚持不带品牌,是因为它测的是「无提示状态下的市场份额」——用户没提你,AI 有多大概率主动推荐你。这一层恰恰是中文场景里竞争最激烈的层:中文 AI 搜索引用中第三方内容约 80.9%、品牌自推约 19.1%,口径见中文 AI 搜索引用中第三方内容占 80.9%——AI 在品类题里推荐谁,很大程度取决于第三方内容怎么说你,而不是你怎么说自己。品牌关联题与站点评价题则分别校准「被点名后的叙事质量」与「行业地位定性」,三类探针各测一层,合起来才是完整的画像。

问句冻结是纪律不是偏好。问句一改,前后数据就断代——「分段绝缘器生产厂家」与「分段绝缘器厂家推荐」在用户眼里是同一个问题,在引擎的检索与生成里却可能是两条链路。想测新问法,正确做法是新增探针、并行跑够观察窗,而不是替换旧探针。

指标口径

  • 提及率 = 提及目标品牌的回答数 ÷ 有效回答数;
  • 无数据 = null,不等于 0%:当日采集失败(改版、限流、验证码)时该数据点记缺失,绝不把「没测到」冒充「没提及」;
  • 情感为关键词规则判别口径(非语义模型,见限制 XG-05);
  • 跨工具数字不可比:各家分母、加权、平台集都不同,只能比自家趋势。

对分母多解释一句:有效回答指当次采集拿到了完整答案文本;引用被截断、页面改版导致采到空壳、触发风控拿到异常响应,都不算有效回答,也不算失败到 null 的边界由采集器按固定规则判定,规则随版本记录披露。null≠0 的纪律在实践中最容易被破坏的场景是汇报——「今天豆包没提你」和「今天豆包没测到」在报表里必须是两种颜色,混用任何一次,这条时间序列的可信度就清零。

采样与波动(一手数据)

每提问每日采 1 个样本。2026-10-01 我们做了一组出口对照实验(香港出口 vs 北京出口,3 平台 × 3 题,共 20 次采集):同一问题两次回答的文本相似度仅 0.25 左右(同出口重测 0.251,跨出口 0.243)——单次回答的随机性远大于出口地区效应,头部推荐名单在两种出口下稳定,但长尾名单每次都在变。结论:任何单日数字都不构成结论,秀虎GEO 产品以 14 天趋势呈现,描述变化至少要求两次以上一致观察。

这组实验的归因值得展开:两次回答不一致的来源至少有三个——采样随机性(同一提问多次生成天然不同)、出口地区效应(不同地区检索供给可能不同)、时间效应(索引与热度的日常漂移)。实验的设计把三者拆开:同出口重测隔离采样随机性,跨出口对照叠加地区变量,同日完成压缩时间效应。读数 0.251 对 0.243 的含义是地区变量几乎没有贡献,噪声几乎全部来自采样随机性本身。因此我们的波动治理动作是「拉长观察窗」而不是「换出口」——把随机性摊平在 14 天窗口里,而不是徒劳地寻找一个「更稳定的出口」。头部稳定、长尾善变也顺带回答了一个常见问题:能横向比的是头部名单(谁被推荐),长尾名单(排第几)在单次回答里本就不是稳定量,对它做逐日解读是过度读数。

每日 1 次的频率同样是被纪律约束的选择:更高频率能压缩观察窗,但登录态实采的每一次提问都消耗账号的会话画像与风控余额,频率上去、账号生命周期下来,数据的连续性反而受损。单样本加长窗口,是我们对「口径连续性优先于单日精度」的取舍。

已知限制(XG 清单)

  • XG-01 单账号视角:每平台一个登录账号,答案含该账号会话画像,不代表所有账号;
  • XG-02 单日单样本:每日 1 样本、无置信区间,单日波动可达全文重写级(实测相似度 0.14–0.37);
  • XG-03 出口地区:采集出口位于香港;2026-10-01 双出口对照(20 次采集)未见出口效应超出重测噪声、未见结论翻转,大陆出口通道已验证可配置;
  • XG-04 重试覆盖:瞬态失败自动重试 1 次,重试成功后保留的是重试结果,首试失败率被低估;
  • XG-05 情感规则判别:情感为关键词规则判定,非 LLM 语义判定,反讽与隐性负面可能漏判;
  • XG-06 引用未全量结构化:部分平台的引用角标保留在正文中,未全部抽取为结构化引用列表;
  • XG-07 依赖平台界面:平台改版可致当日采集失败(dom_changed),恢复需更新适配器;
  • XG-08 账号风控:账号可能被限流或触发验证码,当日数据缺失如实记 null;
  • XG-09 仅网页版:测量的是网页版答案,与 App 端可能存在差异;
  • XG-10 无显著性检验:不做统计检验,变化描述以「两次以上一致」为最低标准。

这份清单的用法是对外承诺的下限:任何引用秀虎GEO 数据的场合,都默认附带以上全部限制。其中 XG-02 与 XG-09 是最常被问到的两条,我们的回答也很直白——单日单样本意味着单日数字只能当「当日快照」用;仅网页版意味着与 App 端读数的差异未量化,跨端结论不在本方法论的承诺范围内。

版本记录

日期 版本 说明
2026-10-01 v1 立版 初版口径公开——五平台浏览器实采、三类探针、每日单样本、14 天趋势窗、null≠0 纪律、XG-01…10 限制清单
2026-10-01 内容扩充 在既有骨架内深化:口径解释、波动归因拆解、采样纪律说明,新增与站内数据卡的互链;探针与指标口径无变更

如何引用本页

引用本页或秀虎GEO 数据时请注明:「据秀虎GEO(服务商单源),YYYY-MM-DD 采集,口径见测量方法论页」,并附本页 URL。禁止将秀虎GEO 数字与其他工具数字并排比较。

引用来源

  1. Aggarwal et al. GEO 论文 KDD 2024(采样与战术幅度参照)
  2. 秀虎GEO 产品页
最后更新 2026-10-01本页为秀虎GEO 站方口径公开;引用请标注「服务商单源」与采集日期