OpenAI 上线 GPTBot：训练抓取第一次可被拒绝

2023 年 8 月 7 日，OpenAI 公布网页爬虫 GPTBot：用于采集“可能用于训练与改进模型”的公开网页数据，站点可通过 robots.txt 的 User-agent: GPTBot 规则全站或按路径拒绝，OpenAI 同步公开 IP 段供验证。The Verge 当日报道指出，这是网站运营者第一次拿到对 OpenAI 采集的正式退出机制。此后数周，Amazon、纽约时报等头部站点陆续屏蔽 GPTBot；OpenAI 的爬虫家族随后扩展出搜索索引用的 OAI-SearchBot 与用户触发的 ChatGPT-User，各自对应不同的可见度后果。

GEO 含义

robots.txt 从此由 SEO 配置项变成 AI 可见度的总开关：屏蔽 GPTBot 退出的是训练层，而搜索可见度取决于另一个爬虫——三型爬虫的区分见AI 爬虫三型术语卡与robots.txt 与 AI 配置术语卡。配置不做区分，是 AI 时代最常见的站方失误。