searchviu:23 个 AI 爬虫 JavaScript 渲染实测
“AI 爬虫到底执不执行 JavaScript”在 2024 年只有 Vercel 的一份观察(见《Vercel:AI 爬虫崛起报告》),2025 年 11 月 searchviu 把它做成了逐爬虫的实测:2025-11-12 至 11-17 的窗口里,对 23 个主流 AI 爬虫的请求与渲染行为做日志级分析——69% 不能执行 JavaScript。站内数据卡收录主数字,本卡补齐实测细节与边界。
实测发现:下载不等于执行
比 69% 更有信息量的是两个分爬虫的细节。GPTBot 会下载 JS 文件(占其请求的 11.5%)但没有执行环境,JS 里的内容对它等于不存在;ClaudeBot 下载比例更高(23.84%),同样不执行。PerplexityBot 只取静态 HTML。整个名单里能完整渲染的基本只有 Googlebot(常青 Chromium 内核),Bingbot 属于“部分渲染”。这组发现修正了一个常见误解:爬虫“拿走”了你的 JS 文件,不代表它“读过”JS 生成的内容——下载是带宽行为,执行才是理解行为。
与 2024 年数据的接力
这轮实测的意义在于接替了 Vercel 2024-12 的旧数据:结论方向一致(多数 AI 爬虫不执行 JS),但证据从单家托管网络口径升级为跨爬虫的逐个验证,“SSR/SSG 是 GEO 技术底线”从推断变成了有样本支撑的判断(技术改造清单见渲染与可抓性档案)。它同时提醒渲染并非唯一通路——对 AI 友好的内容形态还有结构化文本与可摘录段落,但这些都以“内容在初始 HTML 里可见”为前提。
局限与例外名单
四条边界照实写:其一,单源——searchviu 是德国的 SEO 代理机构,数据为二手聚合,原始方法未逐项复核;其二,窗口仅 5 天,爬虫行为快速变化,读数是快照不是定局;其三,agent 类例外——ChatGPT Agent/Operator、Gemini Deep Research 等新 UA 跑在真实浏览器环境里,“AI 不执行 JS”对这批流量不成立(爬虫名单见AI 爬虫全景档案);其四,作者的预测“2027 年 65% AI 爬虫将支持 JS”属单源判断,本站只留档不引用。实操结论反而稳定:在执行比例见底之前,把内容放进初始 HTML 永远不亏;等爬虫真能渲染了,再优化 JS 也不迟。
核心结论
- 23 个主流 AI 爬虫中 69% 不能执行 JavaScript(2025-11-12 至 11-17 实测)。
- GPTBot 下载 JS 文件占其请求 11.5%、ClaudeBot 占 23.84%,均无执行环境、当静态文本处理;能完整渲染的基本只有 Googlebot。
- 该预测“2027 年 65% AI 爬虫将支持 JS”为单源预测,慎用;ChatGPT Agent 等 agent 类 UA 是真浏览器例外。
引用来源
- searchviu: Do AI crawlers render JavaScript?