社区清单已收录 181 条 AI 爬虫 User-Agent

社区权威清单 ai-robots.txt 现收录 181 条 AI 爬虫/Agent 的 User-Agent（2026-10 抓取口径），其中大量是 2025-2026 新增的 agent 类：ChatGPT Agent、Operator、Claude-Code、Gemini-Deep-Research、GoogleAgent-Mariner、Google-NotebookLM、Manus-User、TavilyBot、Crawl4AI 等。

对 GEO 的含义

两点推论。其一，robots.txt 的 AI 管控是动态名单不是一次性配置——新 UA 持续出现（OpenAI 的 OAI-AdsBot、Meta 的 Meta-WebIndexer 都是 2025-2026 新面孔），每季度核对一次清单是合理例程；配置方法见robots 与 AI 术语卡。其二，厂商官方文档列出的 UA 数远少于社区实测数——“文档化 UA ≠ 真实流量”，日志分析以实测为准（爬虫分类见AI 爬虫术语卡）。

口径警告：社区清单为志愿者维护，条目以仓库实时版本为准。