Googlebot-News 与 Googlebot 的区别
Google 的爬虫家族分常规与特殊两族。Googlebot 是常规爬虫：搜索抓取与渲染的主通道，遵守 robots.txt，AI Overviews 与经典搜索共用它建的索引。Googlebot-News 属于特殊爬虫族——Google 爬虫文档把它与 AdsBot、APIs-Google、Mediapartners-Google 等同列，服务新闻等专项场景；这一族的关键行为差异是忽略 * 组：写在 User-agent: * 下的禁令对它们不生效，要表态必须显式写具名组。同族谱的另一端更极端：Google-Safety 因违规内容核查完全无视 robots.txt——从「遵守」到「忽略 * 组」再到「完全无视」，写规则前先分清对象站在哪一档。
对照表
| 维度 | Googlebot-News | Googlebot |
|---|---|---|
| 族类 | 特殊爬虫族（新闻场景） | 常规爬虫（搜索抓取与渲染） |
| robots 姿态 | 忽略 * 组，须具名组表态 |
遵守，具名组规则生效 |
| 与 AI 的关系 | 新闻内容的专项通路 | AIO 与搜索共用其索引 |
| 页面级定向 | robots meta 定向 token 之一（Google 只认 googlebot/googlebot-news 两个） | 同左 |
| 典型误配 | 以为 * 组禁令能挡住它 |
以为屏蔽 Google-Extended 影响收录 |
常见混淆
第一类是通配组错觉：在 User-agent: * 写了禁令便以为覆盖全家——规范原句是具名组与全局组不合并，对特殊爬虫族更是整个 * 组都被忽略；要管住 Googlebot-News，禁令必须写进它的具名组。第二类是定向 token 写错：Google 的 robots meta 定向只认 googlebot 与 googlebot-news 两个具名 token，写其他 UA token 不会生效——反过来说，googlebot-news: noindex 这类页面级定向是官方支持的写法。第三类是张冠李戴的屏蔽：把 Google-Extended 令牌的屏蔽当成「防收录」——它无 UA、不抓取，屏蔽它不影响两只 Googlebot 的任何抓取行为，想挡抓取只有具名组 Disallow 一条路。
选用建议
新闻站的配置清单：robots.txt 里显式建 Googlebot-News 组表态，不依赖通配组；页面级定向用 googlebot-news token 写在 robots meta 或 X-Robots-Tag，与 googlebot 的策略分开声明；改完等满 24 小时缓存再验证；爬虫台账把特殊爬虫族与常规爬虫分开归档——两族的 robots 行为语义不同，混在一列迟早出配置事故。名单与验证见AI 爬虫全景档案表，页面级开关见robots meta 与 X-Robots-Tag 档案，分组语法见robots.txt AI 配置矩阵。