爬虫与技术规范
32 页 · AI 爬虫逐个档案、robots 配置矩阵、渲染与可抓性、日志验证等技术参考。
登录墙与付费墙的 AI 可见度代价
Google 用 isAccessibleForFree 加 hasPart 做段落级付费标记，Applebot 只支持页面级——多引擎站点要双份标记；而 ChatGPT-User 与 Perplexity-User 类用户驱动抓取本就不受 robots 约束，登录墙挡得住自动爬虫，挡不住人。
服务器日志采集配置：把 AI 爬虫日志管线搭起来
日志管线的四段施工——记什么字段、边缘与源站两份日志怎么分工、UA 串怎么解析成爬虫台账、看板放哪几个指标；验证方法另见验证卡，本卡只管采集与解析。
结构化数据的角色档案
Google 官方现行口径三连否定——进 AI Overviews 无需特殊标记、无需 AI 文件、无专门 schema.org 类型；FAQ 富结果自 2026-05-07 起全面下线，结构化数据回归卫生项。
结构化数据实施步骤：从 DefinedTerm 到 FAQPage 的部署清单
结构化数据的施工卡——JSON-LD 部署五步、与可见文本一致的硬约束、类型优先级与验证方法；FAQPage 只剩第三方价值，投入定位是理解卫生项而非引用门票。
爬虫访问控制实战档案
访问控制 2026-10 现势：Cloudflare 2026-09-15 新默认——广告页对 Training/Agent 关闭、多用途爬虫按最严规则；pay-per-crawl 仍 beta，402 三头协议+强制 WBA。
爬虫日志验证方法档案
判爬虫真伪的 2026-10 现势：Google 三类请求三套验证物、IP 段 JSON 已于 2026-03-31 迁址、Web Bot Auth 三家落地；UA 可伪装是官方口径，验证要三关叠加。
前端框架与渲染模式选型：AI 可抓性视角
CSR、SSR、SSG、ISR 的选型判据只有一条——AI 爬虫拿到的首响应里有没有正文；混合策略按页面价值分层，静态版当唯一事实源，agent 真浏览器流量是唯一例外。
视频技术层档案：站点侧的硬规格与转写命题
Google 的视频发现机制与三 URL 模型（watch page、播放器、视频文件分别可达）是站点侧硬规格，缩略图需 ≥80% 像素 alpha>250；但官方页未承诺字幕转写用于理解——AI 引用视频实际引用的是它的转写文本层。
图片与多模态抓取档案
Google Lens 月视觉搜索 200 亿次、约 20% 带购物意图——图片已是 AI 输入主通道；alt 文本的身份从排名信号变成「给模型的图片语义标注」，max-image-preview 与图片 sitemap 仍是官方控制面。中文对照是拍立淘的多模态重构。
渲染与可抓性档案
searchviu 2025-11 实测——23 个主流 AI 爬虫 69% 不能执行 JavaScript；GPTBot 下载 JS 占 11.5%、ClaudeBot 23.84% 但均不执行；Agent 类真浏览器流量是关键例外。
移动端与桌面端的 AI 答案分叉档案
BrightEdge 口径：超过 90% 的 AI 搜索推荐流量来自桌面端，而整体网页流量以移动为主；且移动与桌面 AIO 给出的来源与内容本身不同——双端答案不是镜像。AI 可见度审计必须双端分采样、分记账。
抓取效率与 404 治理
AI 抓取浪费量化：ChatGPT 与 Claude 抓取超 34% 以 404 结束（Googlebot 约 8%）；引用 404 序列 Anthropic 55%→4.8%、Perplexity 1.16%；附死链治理优先级。
AI 爬虫的抓取预算管理：路径分组、限速与成本控制
AI 时代的抓取预算是多路并行、各算各的账——把抓取赶到高价值页的路径分组法、按厂商选工具的限速表、把带宽账算出来并按需转移的成本视角。
AI 爬虫全景档案表
2026-10 现势：OpenAI 4 条（新增 OAI-AdsBot）、Anthropic 3 条、Perplexity 2 条、Google 系 4 类、Apple 2 条、Meta 5 条，逐条附用途与验证端点。
AIPREF Content-Usage 档案
IETF aipref 现势（2026-10）——attach 草案 -05（作者含 Google 的 Illyes，将更新 RFC 9309）、vocab 草案 -08，仍未成 RFC；词表仅三个类别，合并语义最严者胜。
Applebot 档案：跟随 Googlebot 组的取用链与双开关
Applebot 供 Siri、Spotlight 与 Safari 的搜索取用，数据可能进 Apple 基础模型训练；无自身条目时跟随 Googlebot 组、会渲染页面、不认 Crawl-delay；Extended 与 nosnippet 构成双开关。
canonical 与参数页治理实操：把归属声明做对
归属声明的施工卡——自指检查与模板错指、参数排序分页三类重复源的治理、多语言各语种自指、与 sitemap 和内链的一致性校验；概念定义见术语卡。
CDN 层 bot 管理实操：控制项对照与放行策略落地
边缘层是 AI 抓取的实际闸门——六类控制项从具名规则到类目开关的对照、先验身份再套策略的两段式放行、三类高频误伤的排查顺序与限速的位置。
CDN 与缓存对 AI 抓取的影响档案
CDN 边缘层正在成为 AI 抓取的实际闸门：Cloudflare 把 402 付费协议（X-Pay 微支付）、AI Labyrinth 诱饵迷宫与代管 robots.txt 做进边缘；Applebot 官方承认会缓存已抓内容——「改版后 AI 读旧版」从此有了协议层解释变量。
ClaudeBot 档案：Anthropic 三条爬虫的分工与取舍
ClaudeBot 训练、Claude-User 用户动作、Claude-SearchBot 搜索索引——三线共用一份验证清单，官方支持 Crawl-delay、劝退 IP 封锁、承诺不绕验证码，屏蔽后果逐条写明。
GPTBot 档案：训练爬虫的官方口径与放行决策
OpenAI 四条爬虫中的训练采集线——官方 UA 与 robots 语义、变更约 24 小时生效、双开关独立与一次抓取双服务的设计，验证走分爬虫 IP 清单核对，封锁只退出未来语料而不影响搜索可见度。
hreflang 与多语言 AI 可见度档案
Gabe 2025-12 实测：法/意/西语查询下，ChatGPT、Perplexity、Claude 频繁返回美式英文版页面——回答对语言、URL 错语言；搜索栈吃 hreflang，其余 AI 平台「疑似根本不支持」。多语言 GEO 的语言信号要靠内容语言本身。
IndexNow 协议档案
IndexNow 2026-10 现势：参与引擎仅 Bing、Yandex、Seznam、Naver、Yep 五家，Google 长期缺席；单次 POST 上限 10,000 条；200 只是受理；约 12% 被点击新 URL 经此发布。
llms.txt 规范档案
llms.txt v2 规范（2026-08）逐字段档案——唯一必需节是 H1，新增 describedby 发现机制，llms-full.txt 已不在规范中；附位置规则、生态工具与部署实操。
Meta-ExternalAgent 档案：训练加索引的双用途线与家族越权边界
meta-externalagent 是 Meta 的训练加直接索引双用途爬虫，遵守 robots、变更约 24 小时生效；家族五条里有两条可越权——控制面官方只认标准 robots.txt，不认 NoAI 标签。
PDF 文件的抓取与引用形态：资产还是死重
Google 可索引 PDF 内容、控制面只有 X-Robots-Tag；有文本层的 PDF 是可引用资产，扫描件与表单门后的 PDF 是死重——判断标准与双生页做法一条条给。
robots meta 与 X-Robots-Tag 档案
nosnippet 与 max-snippet 是 Google 官方明示的 AIO/AI Mode 页面级输入开关；Apple 另支持按 agent 定向的 X-Robots-Tag 语法。本页给两者的规格差异与站内操作清单。
robots.txt AI 配置矩阵
robots.txt 管 AI 的语法现势——具名组不继承 `*` 组、5xx 三阶段语义、500KiB 上限，纯令牌与真爬虫的二分法，三种姿态的逐组写法与 user-triggered 例外。
RSS 与结构化 feed：老协议在新链路里的角色
RSS 是天生的机器可读通道——全文输出给抓取方一条零渲染取用路径，guid 稳定与 pubDate 规范是两条纪律；与 sitemap、IndexNow、llms.txt 的分工各算各的账。
sitemap 档案：被 AI 爬虫沉默对待的发现通道
sitemap 协议硬规格未变（单文件 ≤50,000 URL、≤50MB），但 2026-10 核查发现 OpenAI、Perplexity、Apple 三家官方爬虫文档无一将 sitemap 写入发现机制；Cloudflare 却把 /sitemap.xml 列入永远免费可爬路径——它是低成本保险，而非已验证杠杆。
Web Bot Auth 部署实操：密码学验证爬虫身份的落地路径
WBA 的施工卡——IETF 已设专门工作组、三家现势对照、托管风控与自建验签两条部署路、按签名状态分档的策略矩阵；概念与验证三关另见术语卡与验证卡。
WordPress 站的 GEO 技术配置清单
WordPress 做 GEO 的四个施工面——固定链接与 URL 稳定性、robots 与 sitemap 的生成方式、缓存与安全插件的兼容点与误伤位、按日志验收的施工顺序。