GEO研究 › 档案 › 爬虫与技术规范 › 登录墙与付费墙的 AI 可见度代价
爬虫与技术规范

登录墙与付费墙的 AI 可见度代价

一手官方(「登录墙内容构成 AI 引用盲区」为机制判断;Google 与 Apple 的粒度差异、user-initiated 豁免均为双方官方文档原文)参考

Google 用 isAccessibleForFree 加 hasPart 做段落级付费标记,Applebot 只支持页面级——多引擎站点要双份标记;而 ChatGPT-User 与 Perplexity-User 类用户驱动抓取本就不受 robots 约束,登录墙挡得住自动爬虫,挡不住人。

登录墙与付费墙是内容方最自然的商业选择,也是 AI 可见度里代价最不透明的一种选择。本页拆三层账:标记层——Google 与 Apple 对付费内容标记的支持粒度不一样,做对了才谈得上「被正确索引」;协议层——robots.txt 对 user-triggered 爬虫的豁免是两家官方明文,防线天然有缺口;出路层——Pay Per Crawl 给付费内容提供了「按次收费给 AI」的第三选项。robots.txt 的基础语义不在本页重复,见robots.txt(AI 语境);三型爬虫的概念框架见训练·检索·用户触发爬虫(三型)。

Google 的段落级方案:hasPart 与 flexible sampling

Google 官方要求付费内容这样标记:JSON-LD 里 isAccessibleForFree: false,配合 hasPart 加 cssSelector 指出哪一段是付费的。粒度约束有两条硬规矩:cssSelector 只支持 .class 选择器,且不得嵌套段落——想按段落级精细圈定付费区的站点,得先把付费边界整理成 class 可标的结构。这套标记隶属 Google 的 Flexible Sampling 框架:允许页面把可免费访问的部分(导语、开头段落)开放给爬虫,付费部分用结构化数据声明——框架的名字本身就点明了交换条件:让爬虫采样到足以判断主题的内容,换来付费部分被正确理解而不是被误判为隐藏。配套的合规红线是区分付费内容与 cloaking:给 Googlebot 看全文、给用户看付费墙,在标记正确的前提下是框架内允许的 flexible sampling,标记缺失或刻意误导则按 cloaking 处理,官方措辞是违规页面「可能不获准出现在搜索结果」。Google 的框架还有一句更直白的原话:不想进索引的内容就不要送到浏览器——这句话是整套付费内容可见度的第一性原理,后面所有技术细节都是它的展开。AI 层的衔接口径同样官方:AIO 与 AI Mode 的预览「受搜索预览控制约束」,挡住付费段进入预览用 data-nosnippet 或 max-snippet,这两个开关的页面级用法见robots meta 与 X-Robots-Tag 档案。

Apple 的页面级方案:粒度差双份标记

Applebot 官方口径:支持 isAccessibleForFree,但仅支持页面级,不支持 hasPart。这就是多引擎站点必须双份标记的原因——同一份付费内容,Google 端可以做到段落级圈定(页面免费摘要加付费段落声明),Apple 端只有整页一个开关:要么整页可访问、要么整页声明付费。两家的粒度对照如下。

维度 Google Apple
isAccessibleForFree 支持 支持,但仅页面级
hasPart 段落级圈定 支持(.class 选择器,不嵌套段落) 不支持
免费摘要与付费段共存 官方框架内允许 页面级开关,无段落概念
违规后果 可能不获准出现在搜索结果 按页面处理收录

粒度差的实操含义:内容方按 Google 的段落级方案设计付费边界没有问题,但要明白 Apple 端看到的是整页粒度——段落级策略在 Apple 侧不存在执行单位。页面标记只是第一层,robots 层的边界见下节。

robots 管不住 user-initiated:双官方引语

这是付费墙防线最容易被误估的一层。OpenAI 官方对 ChatGPT-User 的口径是:非自动爬取,robots.txt 规则可能不适用;Perplexity 官方对 Perplexity-User 更直白:generally ignores robots.txt rules。两条官方引语合起来的事实是:当抓取由用户动作实时触发(用户在对话框里要求读某个链接),协议层本来就管不到——登录墙与 robots.txt 防的是自动批量采集,不防单用户驱动的实时取读。这正好回到 Google 那句第一性原理:真正送进 AI 的是用户主动递交的那个 URL,内容方在协议层没有否决票,能管的只剩网络层——Cloudflare 类边缘平台的 WAF 是唯一剩余闸门,边缘层的技术选项见CDN 与缓存对 AI 抓取的影响档案。

盲区与出路:不可抓即被转述

把三层账并起来,登录墙内容的 AI 可见度命运可以用一条链说清(机制判断):不可抓 → 不可进池 → 只能被二手转述。付费内容不进 AI 训练与检索池,AI 回答相关问题时只能引用公开转述层——媒体报道、摘录、二手总结——原文立场在转述中不可控,观点被削平、语境被剥离是转述链的常态而非事故。这条链有一个容易被低估的时间维度:存量与增量断裂——历史抓取的存量语料会让 AI 在墙建起来之后的一段时间里「还记得你」,新内容则完全消失于池外,站点方容易把存量余温误判为登录墙无害。这条链的中文实证特征明显:登录墙后的社区内容,其 AI 印象几乎完全由历史存量与转载决定。出路层面,Pay Per Crawl 提供了第三选项:既不免费开放、也不彻底隐身,而是按次收费给 AI——0.01 美元/请求起的官方定价下,付费墙从「可见度的终点」变成「价格谈判的起点」,机制对照见pay-per-crawl 与 robots.txt 对比,访问控制的边缘层全貌见爬虫访问控制档案。

对站长的操作清单

  1. 付费内容标记做双份:Google 侧 isAccessibleForFree 加 hasPart(.class 选择器、不嵌套段落),同时接受 Apple 侧只有页面级开关的现实。
  2. 严守 cloaking 边界:给爬虫的版本与给用户的版本靠标记声明合法化,不靠内容差异——拿不准时用官方 rich results 测试工具验证。
  3. data-nosnippet 或 max-snippet 圈住付费段,防止段落进入 AIO/AI Mode 预览——这是搜索栈内唯一官方明示的预览开关。
  4. 别把 robots.txt 当付费墙的延伸:user-initiated 抓取两家官方都不承诺遵守,真正的闸门在边缘层 WAF。
  5. 评估「免费摘要加付费全文」结构:它同时满足 Google 的段落级标记与 flexible sampling 框架,是可见度与商业化冲突最小解。
  6. 隐身型内容(纯登录墙)按「AI 印象由二手转述决定」做预案:官方事实页、术语定义页保持公开可抓,给转述层留一个可控的事实锚。

限制与待核实

  • 「登录墙内容构成 AI 引用盲区、印象由二手转述决定」为机制推断,无跨引擎直接实测。
  • ChatGPT-User「规则可能不适用」与 Perplexity-User「generally ignores」均为官方文档措辞,实际抓取行为的触发边界无公开细则。
  • Apple「未提及 max-snippet」是文档沉默,不等于不支持,本页按「官方未承诺」口径记录。
  • Pay Per Crawl 仍为 private beta,付费墙站点接入后的实际可见度收益无公开案例数据。

引用来源

  1. Google 订阅与付费内容结构化数据官方文档
  2. Applebot 官方文档
  3. OpenAI bots 官方文档
  4. Perplexity 爬虫官方文档
最后更新 2026-10-01引用本页请附:https://www.showhoo.net/library/technical/paywall-login-cost/