主要平台用户协议中的自动化访问禁令
robots.txt 回答「技术层允不允许」,用户协议回答「合同层准不准」。几乎所有主要 AI 与内容平台都在协议层把未经许可的自动化抓取定义为违规动作——对做监测的 GEO 从业者,这层边界比 robots 更硬:违反 robots 是礼仪问题,违反协议是账号与法律风险问题。
典型平台条款盘点
各平台协议措辞不同,取向一致:
- OpenAI:用户协议规定,除通过官方 API 等许可通道外,不得以自动化或程序化方法从服务中提取数据或输出。换算成监测语境:想拿 ChatGPT 的回答做规模监测,协议上认可的通道是 API 与付费接口,网页端批量自动化属于违规。
- X(推特):协议明确未经事先书面同意,任何形式、任何目的的抓取均被禁止——措辞在主要平台中最严格,与其数据授权化经营策略一致。
- Reddit:用户协议禁止未经许可的抓取,同时以公开内容政策(Public Content Policy)开出授权通道——公开内容可经许可协议授权给合作方,私有数据不做商业授权。这创造了「封锁免费抓取、开放付费许可」的范式,被其他内容平台效仿。
Reddit 范式的行业后果值得多说一句:当内容进 AI 语料与答案的正式通道从「公开可爬」变成「签了协议才给」,平台与 AI 厂商的许可交易就成了引用格局的上游闸门——没签协议的引擎要么放弃这部分语料,要么冒着协议与法律双重风险硬抓。内容方观察引擎供给侧变化时,平台授权动态与 robots 政策同样重要。国内的对应层由平台规则与法律衔接:反不正当竞争法与数据安全法为抓取划法律边界(见反不正当竞争法与抓取边界卡与数据安全法与爬取边界卡),平台用户协议与 robots 偏好再叠一层自身口径(如 Meta 对 robots 的偏好声明,见 Meta 偏好标准卡)。平台层还有一类常被忽略的口径:同一平台对「经 API 的正常调用」与「绕过界面的自动化」区别对待,对「个人小量使用」与「商用规模采集」也在执行尺度上分层。协议文本是黑白框架,平台执法是灰度光谱——读协议要同时估计平台的实际执法习惯,谁被限流、谁被封号、谁只收到警告,这些比文本更能校准风险预期。
三层边界全景:礼仪、合同、法律
把站点与平台之间的规则拆成三层看,很多困惑会自动解开:robots.txt 是技术信号层——表达偏好、无强制力,违反的后果是被行业视为失礼并可能被反制;用户协议是合同层——以账号与访问为对价换取守约承诺,违反的后果是账号处置、封禁与违约责任;版权法与竞争法是法律层——回答「这个行为本身是否侵权或不正当竞争」,后果是诉讼与赔偿。三层可能一致,也可能打架:robots 未禁但协议禁——技术上可行、合同上违约;协议禁但法律不认为侵权——有抗辩空间但即时处置照来。从业者最容易犯的错是把某一层的状态当成全局结论:看到 robots 没禁就抓,漏了协议层;看到协议禁了就以为违法,其实法律层未必。对 GEO 监测业务还有一个专属视角:引擎自身的爬虫也受站点三层边界的反向约束——你监测引擎,引擎也抓你。把站点自己的 robots、协议与法律声明写规范,既是防守,也是与引擎平台博弈时的对等筹码。
协议禁令的效力边界
合同层禁令并非无限效力。美国已有判例显示:平台以用户协议对公开数据抓取提起的合同主张,可能受版权法优先适用规则限制——公开数据的合同控制权有边界,协议禁令不等于抓取必然违法(单案记录,公开报道口径,本站不做事实终审)。但从业者不要把「效力有限」读成「没有风险」:协议违约的即时后果是账号封禁、IP 反制与商用关系终止,这些不需要诉讼成立就生效。对以平台数据为生的业务,即时处置比终局判决更致命。
对 GEO 监测的合规边界
把三层边界的口径落到操作:监测自己的品牌可见度,优先走各引擎官方 API 与正式入口,这既是协议认可通道,也是数据口径最稳的路线(API 与 UI 的口径差异见 API 与 UI 监测对比卡);不伪造浏览器身份、不绕过反爬机制、不做高频压测——这三类动作在协议层与技术层同时越线;智能体类访问与普通爬虫在协议里常被区别对待(对照见智能体与爬虫对比卡),用智能体产品代抓前先核协议。技术层的放行与阻断配置另见爬虫访问控制卡。还有一个容易漏的实操点:协议会改。给团队立一条纪律——关键平台的协议在重大修订后要重读一遍,把「当时合规」的流程重新过一遍现行文本,别让一年前的合规判断管今年的动作。最后一道保险是留痕:监测任务的配置、目标平台与授权依据、数据用途,写进内部合规记录。一旦平台方或监管方问询,「我们基于什么依据、抓了什么、用在哪」能三句话答清,比事后补材料可信得多。
限制与待核实
各平台协议高频修订,本卡只记取向不录条文,引用前核对现行版本;判例与平台执法个案为动态,公开报道口径与平台单方声明可能不一致,本卡不替代法律意见;三层边界的具体取舍属个案判断,遇到真实纠纷找专业律师,本卡给的是坐标系不是判决书。
引用来源
- OpenAI:Terms of Use(自动化提取限制条款)
- Reddit:Public Content Policy 与用户协议