Google 官方博客：robots 的未来（REP 是公共标准）

AI 抓取浪潮下，围绕 robots.txt 的改动提案层出不穷——有人想在里面加“许可用途”语义，有人另造说明文件。Google 搜索中心 2025 年 3 月发布的这篇官方博客（作者 Gary Illyes）给争论定了调：robots 排除协议（REP）是公共标准，任何单一方都无法单方面改动；同时官方留了门——新的 opt-out 偏好规则“极易扩展”。这篇短文是理解“robots.txt 与 AI”边界的一手锚点。

两个表态各堵一条路

第一句“REP 是公共标准”堵的是厂商单方改造的路：robots.txt 之所以被全网执行，正因为它只做“能不能抓”这一件所有方都受益的事，且规则变更须经社区共识（标准本体是 RFC 9309，见robots.txt 与 AI）。任何一家 CDN 或引擎在 robots.txt 里塞进私有语义并宣称生效，其他引擎没有义务跟随——事实上 Google 对这类方言（如 Cloudflare 的 Content Signals 提案）的态度始终是“要走标准路径”。第二句“极易扩展”留的是标准化的门：偏好类新规则并非不能加，而是要按公共标准的节奏加——IETF 的 AIPREF 工作组（Content-Usage 草案）正是这条正途，其档案现势见AIPREF 档案。

对站方的判断框架

这篇博客把一个混乱的市场问题变成了清晰的判断框架。市面上任何“新 AI 协议/新标记文件”的推销，用两问即可过筛：它走的路是公共标准（IETF/W3C 或事实共识）还是单方方言？有哪个引擎公开承诺执行？两问都过不了关的方案——无论文案多热——都不值得排进技术改造预算，最多算“顺手赌注”。这条框架与站内对 llms.txt 的实证结论（97% 全月零请求）互为印证：提案的文本再完备，没有读它的一方，就没有入口。

局限与延伸

作为官方表态，它表达的是 Google 一家的立场——Meta 等厂商另有“偏好标准 robots 而非非标准格式”的类似表态，方向一致，但 Perplexity、Anthropic 等并未逐一背书。博客也未承诺任何具体的扩展时间表：“极易扩展”是姿态，不是路线图。对站方，2025-03 至今的执行面没有变化：robots.txt 仍然只管“能不能抓”，AI 用途偏好仍无引擎正式支持的公共标准——把本文的判断框架用于过滤新提案，比等待标准落地更有行动价值。