Web Bot Auth（爬虫密码学身份验证） Web Bot Auth

Web Bot Auth（WBA）是给爬虫发「密码学身份证」的验证机制：爬虫厂商用私钥对出站请求做 RFC 9421 HTTP 消息签名（ed25519），公钥集发布在 .well-known/http-message-signatures-directory，源站按目录验签即可确认「这条流量真出自该厂商」——UA 字符串可以伪造，私钥签不出来。2026 年它从提案变成现实：Google 实验性签署其 AI agent 流量（身份标识 agent.bot.goog、请求携带 Signature-Agent 头），OpenAI 的 ChatGPT agent 与 Operator 采用 RFC 9421 加 WBA（ed25519），Cloudflare 是 2025-02 的首发推动方，DataDome、Fastly 等风控厂商已支持验签。

GEO 语境

它解决的是日志验证里最贵的一环：UA 可伪造是官方口径（Google 文档原句 “The HTTP user agent string can be spoofed”），传统核验要 IP 段加反解 DNS 两道工序——三关叠加的完整流程见爬虫日志验证方法档案。落地要记住官方共识：验签通过是强信号，验签缺失不是伪信号——并非所有请求都被签名，三件套回退必须保留。工程上有捷径：WAF 或风控厂商已在支持名单（DataDome、Fingerprint、Fastly）的站点，验签是现成开关，不必自建 RFC 9421 逻辑；自建 CDN 与裸 Nginx 站点要么引 Cloudflare 的 web-bot-auth 包自验，要么先只跑三件套并接受 agent 流量判定偏保守。它也是付费抓取的前置：Pay Per Crawl 强制 WBA 认证，伪装身份的流量没有议价资格（见Pay Per Crawl卡）。身份可信层的出现，正在把爬虫管理从「黑白名单」推向「凭签放行」。