Web Bot Auth 与 IP 反解 的区别
判一条爬虫流量真伪，两代手段正在叠加。IP 反解/正解是基线：对可疑 IP 做反向 DNS——域名必须落在厂商域之下，再对域名正解回原 IP，两步都过才算数；UA 字符串只是线索，“The HTTP user agent string can be spoofed”是 Google 爬虫文档顶部的官方警示。Web Bot Auth 是新一代密码学验证：请求按 RFC 9421 携带 HTTP Message Signatures（Ed25519 密钥），厂商公钥集发布在 .well-known 目录，验签通过即确认请求出自对应厂商的基础设施。
对照表
| 维度 | IP 反解/正解 | Web Bot Auth |
|---|---|---|
| 信号类型 | 网络层归属核对 | 密码学身份验签 |
| 现势 | 成熟基线，全厂商可用 | 2026 年三家落地：Google 实验性签署 agent 流量（agent.bot.goog）、OpenAI agent 已签名、Cloudflare 首发推动 |
| 覆盖率 | 全量流量 | 仅部分请求签名——验签缺失不等于伪造 |
| 维护成本 | 需跟踪 IP 段变更（Google IP 段 JSON 2026-03-31 迁址，旧路径 301 约 6 个月） | DataDome/Fingerprint/Fastly 等风控厂商已支持，可当现成开关 |
| 单独可用性 | 需与 UA 叠加 | 官方口径：不能单独作判据，须回退三件套 |
常见混淆
一是把 UA 当身份：伪装 UA 的抓取不该计入任何爬虫决策，爬虫台账要按验证过的流量建。二是把验签缺失当伪造信号：官方口径明确并非所有请求都签名，覆盖率不足决定了 IP/反解/UA 三件套必须保留——验签通过是强信号，缺失只是“回到三件套重验”。三是忽略验证物分类：Google 三类请求（常规抓取、特殊爬虫、用户触发）各配不同的反解掩码与 IP 段 JSON，混着验会把用户触发抓取统计成搜索抓取，高估收录健康度。
选用建议
底线配置是三件套（UA 分桶+反解+正解），把 Google IP 段 JSON 迁址这类变更写进定时任务的检修清单。WAF 或风控厂商已在支持名单里的，验签是现成开关，打开即可；自建 CDN 与裸 Nginx 的站点，引官方包做 RFC 9421 验签，或先只跑三件套并接受 agent 流量判定偏保守。pay-per-crawl 这类商业通道已把 Web Bot Auth 设为前置——密码学身份正在成为付费谈判的资格线。验证流程与厂商端点见爬虫日志验证方法档案，名单与验证物见AI 爬虫全景档案表，访问控制含义见爬虫访问控制实战档案。