Agent 流量 与 传统爬虫 的区别

两者都是机器访问，行为模式完全不同。传统爬虫（Googlebot、GPTBot、Bytespider 之类）按训练/检索/用户触发三型分工，做全站级规律抓取，主流 AI 爬虫不执行 JavaScript（Vercel 口径：四大 AI 爬虫月请求合计约为 Googlebot 的 28%）；Agent 流量（ChatGPT Agent、Operator、Claude-Code、Gemini-Deep-Research、Manus-User 等）是任务式访问：真实浏览器环境、会点击会等待、对渲染与交互的要求接近真人用户。社区底册 ai-robots.txt 收录的 181 条 UA 里，增量大头正是这类 agent。

对照表

常见混淆

一是把 agent 流量当普通爬虫限速屏蔽：它背后往往是一个带着等待的真实用户任务，屏蔽的成本是一次正在发生的深度交互；但放行也不等于放任——登录墙、付费墙与操作边界照常适用。二是把 agent 当爬虫统计：混在爬虫日志里会同时误判两边——爬虫的量级趋势失真，agent 的任务构成不可见。三是以为 agent 有统一的 robots 承诺：Google 与 OpenAI 在给 agent 流量做密码学签名（可验真伪），但社区长尾 agent 的身份与合规性参差，应按风险流量对待，不进入“厂商关系”的决策账本。

选用建议

日志先分桶：爬虫按三型归档看趋势与覆盖，agent 单列看任务与转化；对放行的 agent 流量保障响应质量——稳定、快速、内容完整地返回，是这类红利兑现的第一现场。识别与验签手段见爬虫日志验证方法档案，名单与 181 条 UA 底册见AI 爬虫全景档案表，三型框架见训练·检索·用户触发爬虫（三型）；训练与检索爬虫的取舍另见对照卡训练爬虫与检索爬虫的区别。