Google：robots 排除协议是公共标准，无法单方修改

当有厂商提出改写 robots.txt 语义时，Google 的回答是：这不是谁能单方改的东西。这篇官方博客是理解“robots 语义稳定性”争议的官方锚点。

政策要点

• 背景：2025 年 7 月前后 Cloudflare 提出内容独立主张（新域名默认阻断 AI 爬虫），此前业界围绕“robots.txt 语义是否该被改写以表达 AI 抓取偏好”有公开争议；Google 搜索中心 2025 年 3 月发布官方博客（作者 Gary Illyes）回应这一方向的话题（见Cloudflare 内容独立卡）。
• 核心立场：robots 排除协议（REP）是公共标准——robots.txt 的规则体系由多方共同维护，已成 IETF 标准 RFC 9309（见RFC 9309 卡），任何单一方（无论搜索引擎还是 CDN 厂商）都无法单方面修改其语义。
• 扩展路径：Illyes 同文表示，为内容方新增 opt-out 偏好信号在技术上「极易扩展」——标准语义不可单方改，但新的偏好表达可以作为增量加入。这一口径后来具体化为 IETF aipref 工作组的偏好表达草案（制定进展见aipref 术语卡）。

覆盖与不覆盖

覆盖：robots.txt 标准语义的修改权归属与扩展路径的官方立场。不覆盖：CDN 层默认阻断等非 robots 手段的合法性判断——Google 的表态不否定厂商在网络层做访问控制的自由，只否认其能改变 robots 标准本身；也不构成 Google 对任何 GEO 行为的禁止或背书。robots.txt 与 AI 爬虫的配置实务见robots.txt 与 AI 术语卡。

对 GEO 行业的含义

该立场为“内容方偏好表达”的演化路径定了调：不是改 robots 旧语义，而是叠加新信号（aipref、Content-Usage 头等）。对内容方的直接含义是：robots.txt 的排除语义保持稳定，偏好表达的新工具应作为独立信号跟踪，不与 robots 混同解读。

限制与待核实

本卡仅覆盖官方博客的公开立场；博客全文措辞与后续跟进表态未逐条收录，「极易扩展」为博客口径，引用建议核对原文。