robots.txt 与 AIPREF 的区别

两套机制是正交的：robots.txt 按 User-agent 分组决定“谁可以来”——允许或禁止抓取；AIPREF 草案在 robots.txt 里加 Content-Usage 字段，逐用途声明“来了之后内容能被用于什么”——训练（train-ai）、AI 输出（ai-output）、搜索（search）可以分别表态。叠加使用才是一张完整的授权地图，互不替代。

对照表

常见混淆

两类误读都源于混淆“表达”与“执行”。对 robots 的误读是把它当保险箱：全禁只是退出索引与训练语料，拦不住用户触发型抓取，“robots 全禁等于不出现在 AI”是错觉。对 AIPREF 的误读是把它当强制标准：草案不是标准，标准也不是法；声明也不能溯及既往——已被抓走的内容不会因补一份声明而回退。它还常与 llms.txt 混为一谈，后者根本不表达权利（见llms.txt 与 sitemap 的区别）。

选用建议

本站口径是两者并行、三件事分开：robots 分组管硬控制，逐组写、逐组核对日志；AIPREF 做善意表态与法务留痕，声明要与分组不打架、留版本与日期；执行核验靠日志实证，不一致时用网关规则或商务途径补位。配置语义见robots.txt（AI 语境），字段语法与厂商支持名单见AIPREF（Content-Usage 声明）与AIPREF 档案，爬虫名单背景见AI 爬虫（AI Crawlers / Bots）。