User-Agent 字符串（UA） User-Agent String

User-Agent 字符串是 HTTP 请求头中声明客户端身份的字段：浏览器、爬虫每发一个请求都会自报家门（如 Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)）。robots.txt 的具名组匹配、WAF 的 UA 规则、日志分析里按爬虫的分组统计，全部建立在 UA 之上——它是整个爬虫管理体系里最常用的身份线索。

GEO 语境

它的软肋恰好也是官方口径：Google 爬虫文档页顶部的警示原句是 “The HTTP user agent string can be spoofed”——UA 可被任何人写成任何值。2025-07 的 Cloudflare 与 Perplexity 争端把这个软肋推上头条：双方就「爬虫是否如实亮明身份」各执一词，而争执之所以难断，正因为 UA 本身不构成证据。完整的真伪核验要三关叠加——UA 只是第一关，IP 段核对与反向 DNS 是后两关，密码学签名是正在补上的第四关，逐步操作见爬虫日志验证方法档案。对站方实操的三条：robots.txt 具名组按 UA 匹配是协议设计使然，但执行层（放行、限速、计费）不要只看 UA；日志统计里把「自称某爬虫但验证不过」单独设一组，它是伪装流量的直接指标；给 AI 爬虫做引用归因时用验证过的身份口径，别让伪造流量污染你的引用率统计。UA 是入口线索，身份判定永远在别处完成。