Google 三类爬虫反解掩码全表：googlebot.com / google.com / googleusercontent.com 各归各类

Google 官方验证文档给出三类爬虫的反解主机名掩码全表：Common crawlers（Googlebot 主体）反解为 crawl-***-***-***-***.googlebot.com 或 geo-crawl-***-***-***-***.geo.googlebot.com；Special-case crawlers（AdsBot 等特殊爬虫）反解为 rate-limited-proxy-***-***-***-***.google.com；User-triggered fetchers（用户触发抓取）反解为 ***-***-***-***.gae.googleusercontent.com 或 google-proxy-***-***-***-***.google.com。完整验证流程还要求把反解域名正解回去、与原 IP 比对一致。

对站长的含义

UA 可伪造是官方口径——Google 在爬虫清单页顶部明写警示，反解掩码因此是最轻量的鉴别动作：不落进上述域名形态的“Googlebot”，按伪装流量处理。三类分开记尤其关键：Gemini 等用户触发流量走 googleusercontent/google-proxy 域，与主爬虫完全不同域，混为一谈会错放或错杀。