提问集维护 SOP 清单
提问集(Prompt Set)是 GEO 监测的尺子,尺子自身要维护:业务在变、用户问法在变、引擎在变,冻结的问句集放任不管会慢慢失真——问的人不再这样问了,读数再漂亮也是刻舟求剑。方法层的判据与原理见提问集维护方法页,本页把维护动作拆成可开工的清单:每季度走一遍,触发器条件命中随时走。
维护节奏:一个固定拍加三个触发器
固定拍:每季度最后一次周报出完后启动季度维护,产出新版本问句集与变更记录,赶在下一轮复测前生效。
触发器命中即提前维护,不等季度:
- 模型版本漂移:某引擎回答结构突变且排查确认是版本升级——基线要重跑,问句集顺带做一次重估,机理见模型版本漂移。
- 业务线变化:新产品上市、老产品退市、目标市场调整——相关问句组当季扩充或淘汰,不等到期。
- 监测口径变更:换监测工具或改采样方式——问句集原样平移前先做一次新旧口径的同题对照,确认读数可衔接。
季度维护四步清单
| 步骤 | 动作 | 判定标准 | 常见问题 |
|---|---|---|---|
| 1 重估 | 全量问句按问句组过一遍近三期读数(提及、引用) | 每组标注:健康/疲软/失效 | 只看整体均值,组级失效被平均数掩盖 |
| 2 淘汰 | 按淘汰判据下架问句,逐条写理由 | 多期无读数且与业务脱节才淘汰;只跌不死的保留 | 把“暂无引用”当“失效”整组砍掉 |
| 3 扩充 | 从客服记录、销售问答、搜索后台捞新问法补充 | 新问句能指出来源,问法贴近用户原话 | 拍脑袋补问,市场部自导自演 |
| 4 配比复核 | 检查品牌词、品类词、买家问题词三类占比 | 与当前业务结构一致即可 | 配比照抄别家,与自家业务错位 |
四步的顺序不能换:先重估才知道哪组疲软,先淘汰再扩充才不会越养越肥,配比复核放在最后是因为前三步会改变结构。基线与复测的对应关系见基线测量——每版问句集有自己的基线,换版本必换基线。
淘汰与扩充的判据边界
淘汰要防两个极端。一防手松:问句组连续多期读数无变化,先查是问法过时(用户已不这样问)还是内容侧长期没供给——两种都能修,直接淘汰是最后选项。二防手紧:明知与业务脱节的问句舍不得删,“历史数据舍不得”不是理由,僵尸问句稀释采样预算还拉低复测效率。
扩充按业务决策链补位:怎么选(对比)、怎么用(教程)、出了问题怎么办(售后)三段,哪段空白补哪段。扩充问句与存量问句分开建基线,新问句前两期只记录不判读——给它两个采样周期再参与趋势判断。
变更留痕:没有日志的基线是断的
问句集每次变更记四件事:版本号、生效日期、增删改明细、变更原因。历史读数按当时的问句集版本解释,新旧版本的曲线不许直接接龙画在一张图上——接龙画图制造假连续性,趋势判断全错。留痕落在口径日志里,月度归因和季度维护都靠它对账。
变更权限一并定死:问句集的增删改只有 GEO 负责人能拍板,其他角色可以提名但不能直接动集——多人各自往集里加问句,是问句集失真最快的方式。提名统一走季度维护处理,处理结果回写变更记录;触发器场景的紧急变更也走同一权限,先改集、后补记录,记录不许欠过一周。