渲染与可抓性档案

“AI 爬虫读不读得了我的页面”这个问题，2024 年的答案是笼统的“多数不执行 JS”，2026 年可以给出带百分比与逐家细节的版本了。本档案汇总 2025-11 的 23 爬虫实测、各家的渲染能力对照、以及正在改变结论的 agent 类例外。选型对策（SSR/SSG 的机制与取舍）见SSR / SSG（服务端渲染/静态生成）术语卡，本页不重复。

AI 爬虫到底能不能执行 JavaScript

实测口径：searchviu 于 2025-11-12 至 11-17 对 23 个主流 AI 爬虫的抓取行为做了测量，结论是 69% 不能执行 JavaScript。能完整渲染的只有 Googlebot（常青 Chromium 内核），Bingbot 属于“部分渲染”。这条实测更新的意义在于它替代了 2024 年的旧观察——彼时只有定性结论，现在有了样本与百分比。对站长的推论不变且更硬：客户端渲染的页面，在多数 AI 爬虫面前是空壳；服务端直出或静态生成是进入 AI 视野的底线，不是加分项。

“下载但不执行”：两个量化细节

这轮实测最有信息量的不是“能不能执行”的二值结论，而是两条爬虫的行为细节——它们会下载 JS，只是不执行。GPTBot 下载 JS 文件，占其请求的 11.5%，但把文件当静态文本处理；ClaudeBot 下载 JS 占 23.84%，同样没有执行环境；PerplexityBot 只取静态 HTML，连下载都没有。对站长的含义有两层：其一，只有跑 JS 才能出现的内容（客户端拼装的正文、接口拉取的表格）对这些爬虫不存在，无论页面在浏览器里多完整；其二，<script src> 指向的资源会被计入请求——把关键内容放进 JS 等于只喂了壳，还搭上了带宽。

口径演进：三批证据拼出的现势

这个领域的结论不是一次性给出的，看清三批证据的接力，才知道哪些数字还年轻。第一批，Vercel 2024-12 的原始研究给出定性判断：主流 AI 爬虫不执行 JavaScript——彼时只有结论没有分布。第二批，searchviu 2025-11 把结论量化：23 个主流爬虫 69% 不能执行，并补上了 GPTBot、ClaudeBot“下载但不执行”的行为细节。第三批，2025-2026 的 agent 类 UA 把边界撕开：真浏览器流量进入名单，“不执行 JS”从此不再覆盖全部 AI 流量。三批证据方向一致——基础爬虫静态可读仍是常态，例外集中在 agent 一侧，而不是检索一侧。

各家渲染能力对照表

表里两行的读法要说透。Bingbot 的“部分渲染”比“不执行”更麻烦——不可依赖的能力等于没有的能力，针对 Bing 系 AI 的内容准备仍应按静态可读做，而不是赌它的渲染队列。Applebot 那一行是唯一由厂商写进文档的“会渲染”承诺，它同时也是官方警告的来源：robots.txt 屏蔽 JS/CSS/XHR 会让 Applebot 的渲染直接失败——控制渲染资源的 Disallow 规则，伤害的是你自己。

Agent 类例外：真浏览器流量已经上场

“AI 爬虫不执行 JS”这个判断，对 2025-2026 出现的 agent 类流量不成立：ChatGPT Agent 与 Operator、Gemini-Deep-Research 与 Gemini CLI、Claude-Code、Manus、NovaAct 等 UA 都运行在真实浏览器环境里，按用户任务访问页面、点击、等待渲染。这类 UA 已进入社区 181 条清单（见AI 爬虫全景档案表）。对站长的分诊因此变成两轨：检索与训练爬虫按“静态可读”准备；agent 流量按“接近真人用户”准备——交互、登录墙、懒加载它们都会真实撞上，降级策略不能混用。识别这批流量的方法与签名验证现势见爬虫日志验证方法档案。

Gemini 的官方现势：走 Googlebot 通道

Google 官方现行口径把 Gemini 系的抓取问题收拢成一条线：AI 是 Search 的一部分，AI Overviews 与 AI Mode 的抓取和渲染都走 Googlebot，robots.txt 里的 Googlebot 指令就是控制手段；Gemini Apps 的训练与 grounding 才归 Google-Extended 管（令牌语义见Google-Extended）。对站长：面向 Google 系 AI 不存在单独的“AI 爬虫渲染”问题——服务好 Googlebot 的渲染即可，屏蔽决策也回到 Googlebot 条目本身，不用另立开关。

Apple 一侧是另一条官方依据：Applebot 官方明确会渲染页面，robots.txt 屏蔽 JS/CSS/XHR 会直接导致渲染失败。两家口径合起来，“别屏蔽渲染资源”在 2026 年已是双厂商背书的硬规则，不再是渲染派的经验之谈。

流量盘子：为什么这件事的权重在上升

渲染能力的不对称，叠加的是量级上升。Vercel 2025-08 口径：bot 流量占其网络的 20% 以上，其中约四分之一来自 AI 爬虫。同一站点对不同访客呈现两种面貌——给 Googlebot 的完整渲染版与给多数 AI 爬虫的静态版——两版内容的一致性由此从“最好有”变成必须主动维护的项：版本漂移既是 cloaking 风险，也会让不同引擎读到不同的世界。实操上的收敛办法是把静态版当唯一事实源：先写进 HTML 的内容才是全部内容，JS 只做增强不做补充——这条纪律同时满足爬虫、agent 与降级环境。各家爬虫的档案与名单见AI 爬虫词条。

对站长的操作清单

1. 用“禁用 JS 打开页面”自测：正文、参数表、结论是否还在 HTML 里——这是最便宜的渲染审计。
2. 关键内容服务端直出或静态生成，机制与取舍见 SSR/SSG 术语卡。
3. robots.txt 不 Disallow JS/CSS——Googlebot 与 Applebot 的渲染都依赖这些资源。
4. 按双轨准备：静态可读版给检索与训练爬虫，完整交互版留给用户与 agent 流量。
5. 抽日志分辨 agent 类 UA 与经典爬虫 UA，两类的降级与限流策略分开定。
6. 面向 Google 系 AI 的渲染与屏蔽决策收敛到 Googlebot 一条线，不另立开关。

限制与待核实

• searchviu 实测为单源二手聚合，23 爬虫的样本与其测量方法未独立复验。
• “2027 年 65% 的 AI 爬虫将支持 JS”为同一来源的预测，仅作记录，不作规划依据。
• Imperva（2025 年自动化流量占全网 53%）、Baselinelabs（2026-06 bots 占 57.5% 首超人类）均为单源转引。
• 各 agent 类 UA 的渲染完整度无逐家官方文档，行为特征来自官方说明加社区观察。