Google-Extended Google-Extended

Google-Extended 是 Google 体系里的一个 robots.txt 控制型 token，不是独立爬虫：它以 User-agent 的形式在 robots.txt 里响应站长偏好，管理的只有 Gemini 模型的训练与 grounding（答案落地）用数。屏蔽它，Google 搜索的收录与 AI Overviews 的引用一点不受影响——那两样走的是 Googlebot 的抓取；不屏蔽它，内容就继续留在 Gemini 的训练与 grounding 池里。一句话：它是 Google 体系内少数能把“搜索可见度”与“训练语料贡献”拆开单独取舍的开关。

它管什么、不管什么

为什么做成 token 而不是一只新爬虫？Google 的抓取基础设施是共用的，产品级的用途控制没有必要另起一套爬虫——在 robots.txt 里放一个产品 token，站长就能按用途表态，而不用在“全给”与“全不给”之间二选一。grounding 的含义也要说清：它指 Gemini 生成回答时用真实检索结果做落地支撑——屏蔽 Google-Extended 意味着你的内容既不进 Gemini 的训练语料，也不进它的 grounding 供给；而 Google 搜索与 AI Overviews 用的是 Googlebot 索引，属于完全另一条链路。

这条边界也解释了一个反直觉现象：有些站点屏蔽了 Google-Extended，在 AI Overviews 里的出现反而变多——因为 AIO 走的是 Googlebot 索引，而站点同期所做的内容与结构改进恰好被搜索侧采纳。把两件独立的事在归因里搅在一起，是这类讨论里最常见的逻辑事故；判断任何改动的真实影响，先确认它落在哪条链路上。

配置语义上有一条必须记住：robots.txt 的具名组只看自己的规则、不继承通配组——想让 Google-Extended 的规则生效，必须单独为它写一组，User-agent: * 组的规则替代不了它（详见 robots.txt（AI 语境））。反过来，全站通配放行也不会顺带替你表达对 Gemini 训练的态度，这个态度只能显式写。

落到写法上，典型形态是两组并存：给 Googlebot 的组定义搜索侧的规则，给 Google-Extended 的组单独表态——只想退出 Gemini 语料，就只在后一组写全站禁止，前一组原样不动。两组互不继承在这里反而是优点：它保证了“Gemini 的态度”不会误伤“搜索的态度”。反过来想借通配组省事，两件事就会缠在一起。

最常见的误操作：把它当“防 AI 开关”

关于 Google-Extended 最大的误区，是以为屏蔽它能“防 AI”。实际效果恰好错位：屏蔽之后，Google 搜索照常收录你，AI Overviews 照常可以引用你——你的内容仍然会出现在 Google 的 AI 答案里，你只是退出了 Gemini 的训练语料。误区高发有名字层面的原因：token 名字里带着“Google”，又常被收进各类 AI 爬虫清单里传播（AI 爬虫（AI Crawlers / Bots）），望文生义就成了“屏蔽 Google 的 AI”。

如果目标真的是“不出现在 AI Overviews”，屏蔽 Google-Extended 完全达不到目的。AIO 与 Google 搜索共享同一套 Googlebot 索引，没有独立爬虫可以单独拒绝（引擎档案见 Google AI Overviews）；硬杠杆只剩退出 Google 索引本身，而那会连同普通搜索一起退出——多数品牌承受不起这个代价。这也是我们反复强调的一点：在 Google 体系内，“防 AI”基本是个伪需求，真正该做的是决定“进哪一环”，而不是“躲开哪一环”。

这个误区的传播链也值得拆一下：不少流传的“AI 爬虫屏蔽清单”把训练、检索、用户触发三类混排在一张表里，不标用途；照单全抄的结果，往往是把检索型也一并禁掉，AI 可见度顺带陪葬。拿到任何清单，先按三型重排、标注每条的用途与屏蔽后果，再决定抄不抄——清单会替你省时间，也会替你犯错。

三类站点的决策场景

内容出版方常面临最真实的取舍：内容就是产品，进训练语料意味着被模型“学习”却不带来等价回报，版权立场强的可以选择屏蔽，换取立场清晰；代价是模型对你的行文、观点与品牌名的熟悉度会慢慢落后于同行。电商与产品型站点的天平通常反向：产品参数、规格、评测素材进语料，有助于模型在用户问起这类产品时“认识”你，屏蔽反而是自断触点。企业官网与 B2B 服务型站点介于两者之间——信息以服务与专业内容为主，被模型准确转述的收益通常大于语料贡献的顾虑，放行是常见选择。

这些场景没有标准答案，但有一个共同的思考顺序：先想清楚你的内容在 Gemini 侧的“被转述价值”与“被学习顾虑”哪个更大，再动开关。把决策建立在“别人都屏蔽了”的从众上，往往半年后才发现方向错了。

还有一类高频提问来自个人站与独立博客，动机多半是“不想被白嫖”。务实地说：小站被抓取的绝对量有限，屏蔽带来的损失与收益都小，象征意义大于实际作用；真要表态，屏蔽训练型用途（包括 Google-Extended）是成本最低的方式，检索型照常放行，不影响自己被找到。另一个常见考量是合规与政策：部分行业对数据用途有明确约束，这类约束应由法务口径落到书面，再映射为配置——技术开关服从合规结论，而不是反过来。

屏蔽之后怎么核对效果

核对分两侧。搜索侧：改动 robots 后，Google 搜索的收录与流量应当完全无波动——用站长平台的收录状态与搜索表现核对，若出现波动，问题不在 Google-Extended 这行规则上，要回头查是不是误改了其他组。Gemini 侧没有直接报表可看：屏蔽只影响训练与 grounding 这类长周期用途，效果既不即时也不可观察，只能通过长期的对话侧监测间接感知。这也是为什么我们建议改动前后都留存一份 robots 配置与日志快照——三个月后想解释“为什么模型不提我们了”，快照是唯一的凭据。

决策记录因此比核对本身更重要：把“何时改的、为什么改、预期影响什么、不预期影响什么”写进变更日志。robots 配置是全站少数几处“一行字、半年后才见效”的改动，凭记忆复盘几乎必然失真；一行日志的成本，换来的是半年后归因的凭据。

还有一个实践细节：屏蔽 Google-Extended 不会产生任何即时反馈——没有通知、没有报表变化、没有流量波动。这种“静默生效”容易让人在下一次大调整时忘记它的存在。把这条规则连同语义注释一起留在 robots.txt 里（注释写清“只影响 Gemini 训练与 grounding”），半年后的自己或接手的同事会感谢这行注释。

与 AIPREF 等新控制手段的关系

robots.txt 的产品 token 是二值控制：这个用途给，或不给。更细粒度的偏好表达正在标准化的路上——AIPREF 草案用 Content-Usage 字段逐项声明内容可否用于训练、AI 输出与搜索（AIPREF（Content-Usage 声明））。我们的务实口径是两者并行：robots 分组管硬控制，AIPREF 做善意表态与法务留痕，但不指望声明本身有强制力，各家遵守程度不一。回到 Google-Extended 本身，多数站点的决策树其实很短：介意内容进 Gemini 的训练与 grounding 池就屏蔽，不介意就放行，中间几乎没有需要反复权衡的灰色地带——真正值得花时间权衡的，是“训练/检索/用户触发”三型里那些与可见度直接挂钩的开关（训练·检索·用户触发爬虫（三型））。

最后要放下一类期待：不存在哪个开关能让内容“只被搜索使用、不被任何 AI 使用”——搜索本身正在 AI 化，检索与生成的边界会继续模糊。接受这个前提，用控制手段的心态会平和很多：robots token 与偏好声明表达的是立场与取舍，不提供隔离。想清楚要进哪一环、愿意让渡什么，比寻找一个不存在的总开关有用得多。