GEO研究 › 知识基础 › 研究文献 › searchviu:23 个 AI 爬虫 JavaScript 渲染实测
研究文献 · 行业报告

searchviu:23 个 AI 爬虫 JavaScript 渲染实测

服务商单源(单源实测(德国 SEO 代理机构),二手数据聚合,未复验;窗口仅 5 天)searchviusearchviu.com(2025-11)2025

一句话结论:23 个主流 AI 爬虫中 69% 不能执行 JavaScript(2025-11-12 至 11-17 实测)。

“AI 爬虫到底执不执行 JavaScript”在 2024 年只有 Vercel 的一份观察(见《Vercel:AI 爬虫崛起报告》),2025 年 11 月 searchviu 把它做成了逐爬虫的实测:2025-11-12 至 11-17 的窗口里,对 23 个主流 AI 爬虫的请求与渲染行为做日志级分析——69% 不能执行 JavaScript。站内数据卡收录主数字,本卡补齐实测细节与边界。

实测发现:下载不等于执行

比 69% 更有信息量的是两个分爬虫的细节。GPTBot 会下载 JS 文件(占其请求的 11.5%)但没有执行环境,JS 里的内容对它等于不存在;ClaudeBot 下载比例更高(23.84%),同样不执行。PerplexityBot 只取静态 HTML。整个名单里能完整渲染的基本只有 Googlebot(常青 Chromium 内核),Bingbot 属于“部分渲染”。这组发现修正了一个常见误解:爬虫“拿走”了你的 JS 文件,不代表它“读过”JS 生成的内容——下载是带宽行为,执行才是理解行为。

与 2024 年数据的接力

这轮实测的意义在于接替了 Vercel 2024-12 的旧数据:结论方向一致(多数 AI 爬虫不执行 JS),但证据从单家托管网络口径升级为跨爬虫的逐个验证,“SSR/SSG 是 GEO 技术底线”从推断变成了有样本支撑的判断(技术改造清单见渲染与可抓性档案)。它同时提醒渲染并非唯一通路——对 AI 友好的内容形态还有结构化文本与可摘录段落,但这些都以“内容在初始 HTML 里可见”为前提。

局限与例外名单

四条边界照实写:其一,单源——searchviu 是德国的 SEO 代理机构,数据为二手聚合,原始方法未逐项复核;其二,窗口仅 5 天,爬虫行为快速变化,读数是快照不是定局;其三,agent 类例外——ChatGPT Agent/Operator、Gemini Deep Research 等新 UA 跑在真实浏览器环境里,“AI 不执行 JS”对这批流量不成立(爬虫名单见AI 爬虫全景档案);其四,作者的预测“2027 年 65% AI 爬虫将支持 JS”属单源判断,本站只留档不引用。实操结论反而稳定:在执行比例见底之前,把内容放进初始 HTML 永远不亏;等爬虫真能渲染了,再优化 JS 也不迟。

核心结论

  1. 23 个主流 AI 爬虫中 69% 不能执行 JavaScript(2025-11-12 至 11-17 实测)。
  2. GPTBot 下载 JS 文件占其请求 11.5%、ClaudeBot 占 23.84%,均无执行环境、当静态文本处理;能完整渲染的基本只有 Googlebot。
  3. 该预测“2027 年 65% AI 爬虫将支持 JS”为单源预测,慎用;ChatGPT Agent 等 agent 类 UA 是真浏览器例外。
对本站用户的实操含义:客户端渲染的内容对多数 AI 爬虫不可见——SSR/SSG 是被引用的前置条件,不是加分项。

引用来源

  1. searchviu: Do AI crawlers render JavaScript?
最后更新 2026-10-01本卡为站方摘要与解读,非译文;请以原文为准