Googlebot 与 Google-Extended 的区别
Googlebot 是 Google 的抓取爬虫，建立搜索索引——AI Overviews 与经典搜索共用这一套索引，没有独立的“AIO 爬虫”可以单独拒绝。Google-Extended 则是 robots.txt 里的控制型 token：它不是爬虫，只在 robots 层响应站长偏好，管理的仅有 Gemini 模型的训练与 grounding（答案落地）用数。屏蔽它，搜索收录与 AIO 引用一点不受影响；不屏蔽它，内容留在 Gemini 的训练与 grounding 池里。
对照表
| 维度 | Googlebot | Google-Extended |
|---|---|---|
| 身份 | 抓取爬虫 | robots 控制型 token（不是爬虫） |
| 管什么 | 抓取并建立 Google 索引 | Gemini 训练与 grounding 用数 |
| 屏蔽后果 | 退出 Google 搜索，连同 AIO 入口一起陪葬 | 只退出 Gemini 语料与 grounding 供给 |
| 与 AIO 的关系 | AIO 与搜索共用此索引，无单独拒绝 AIO 的开关 | 屏蔽它不影响 AIO 引用 |
| 可控性 | 屏蔽代价多数品牌承受不起 | Google 体系内少数能拆开“搜索”与“训练”的开关 |
| 常见误用 | —— | 被当成“防 AI 开关” |
常见混淆
望文生义是事故之源：token 名字带 Google，又常被收进各类“AI 爬虫屏蔽清单”，于是被当成“屏蔽 Google 的 AI”。真实效果恰好错位——屏蔽后你的内容仍会出现在 Google 的 AI 答案里。归因混淆也在同一处发生：有站点屏蔽 Google-Extended 后 AIO 出现反而变多，其实是 AIO 走 Googlebot 索引，而站点同期的内容改进恰好被搜索侧采纳，两件独立的事被搅在一起。robots 配置上还要记住：具名组不继承通配组，Google-Extended 的态度必须单独写一组。
选用建议
写法上两组并存：Googlebot 组管搜索侧规则、原样不动，Google-Extended 组单独表态——只想退出 Gemini 语料就只在这一组写全站禁止。决策树很短：介意内容进 Gemini 的训练与 grounding 池就屏蔽，不介意就放行，中间几乎没有灰色地带；屏蔽是静默生效，把“何时改的、为什么改”写进变更日志并留配置快照。token 语义见Google-Extended，配置规则见robots.txt（AI 语境），AIO 链路见Google AI Overviews 引擎档案，三型背景见训练爬虫与检索爬虫的区别。