llms.txt 与 sitemap 的区别

两者都在站点根路径“对机器说话”，层次完全不同。sitemap.xml 是发现协议：向爬虫列出站内 URL，被主流搜索引擎与多数 AI 爬虫真实消费，是收录基建的一部分。llms.txt 是面向大语言模型的 markdown 导读（H1+摘要+分节链接），意图帮模型快速理解站点——但没有任何爬虫被要求遵守它。Ahrefs 对 13.7 万域名的实测给它的判决很硬：约 28% 的站点已发布，97% 的文件整个月零请求，AI 检索爬虫仅占这些站点请求的约 1.1%。

对照表

常见混淆

最大的误区是把两者当同类替代品——“部署了 llms.txt 要不要砍 sitemap”是把确定收益换成彩票。其次是给 llms.txt 加戏：当 robots 用写抓取禁令（它没有任何约束力）、为“llms.txt 生成与优化服务”付费（因果链已被请求数据否定）、在文件里堆关键词（唯一会读它的编程 agent 也会被劝退）。判断一个“对机器的文件”有没有价值，只看一件事：日志里有没有真实的机器来读。

选用建议

sitemap 是收录工程的一部分，照常维护；llms.txt 自动生成、随构建同步，定位为“赌 agent 生态的顺手棋”——观察日志里编程 agent 请求是否增长、是否有厂商声明会读取它，出现信号再认真对待，此前预期值归零。把力气花在有反馈回路的动作上：检索爬虫放行、内容可抓取、关键信息前置。结论与口径见llms.txt与llms.txt：28% 站点已发布，97% 全月零请求，规范细节见llms.txt 规范档案，研究原文见Ahrefs 13.7 万域名研究；控制类文件的分工另见robots.txt 与 AIPREF 的区别。