llms.txt llms.txt

llms.txt 是放在站点根路径、面向大语言模型的 markdown 说明文件：一个 H1 标题、一段站点摘要，再按分节列出重要页面的链接与一句话说明，意图是帮 LLM 快速理解站点结构与重点内容。它由 Jeremy Howard 于 2024-09 提出（v2 修订于 2026-08），此后 Mintlify、GitBook、Yoast 等主流工具提供一键生成，另有 llms-full.txt 变体把全站要点打包成单个文件。结论要先给：实测数据不支持“部署 llms.txt 能改善被 AI 引用”，它对 GEO 的预期值应归零，真实受众是编程 agent 而非搜索型爬虫。

文件本身是什么：结构、动机与工具生态

提案的动机不难理解：官方文档与营销页为人类设计，导航、样式与客套话对模型都是噪音；一份 markdown 摘要把“这个站点是谁、有什么、重点在哪”压缩到几屏以内，理论上能降低机器的理解成本。文件结构刻意保持简单——H1 加摘要给出全站定位，分节链接给出入口，可选段落放使用政策与联系方式。生成工具已经成熟，Mintlify、GitBook、Yoast 都有一键生成，部署与维护的成本接近于零。

这份简单也注定了它的天花板：它只是一份“建议阅读”的说明书，不在任何抓取协议的关键路径上。爬虫找页面的方式仍是链接发现与既有索引，读不读这份说明书，完全取决于各家自觉。

既然是顺手棋，就把手顺对。合格线有四条：H1 与摘要准确概括站点定位，不堆营销词；分节按用户任务组织（产品、文档、定价、政策），不按公司组织架构罗列；每条链接带一句话说明，让读者不点也知道自己会得到什么；内容与站点真实结构一致，不写不存在的入口。文档型站点可以另配 llms-full.txt 全量变体，内容站通常不必。

链接的取舍也遵循同一逻辑：列进文件的应当是“机器读完最有用”的页面——文档、参数说明、政策页，而不是营销专题与活动页。文件不是站点地图的镜像，是一份按任务价值排序的导读；贪多求全只会稀释真正重要的入口。

写坏比不写更糟的典型样态是关键词堆砌：把摘要写成关键词场，指望模型因此多看你一眼。且不说没有证据支持这种想象，一份扭曲的摘要还会误导真正会读它的编程 agent——把唯一的真实读者也劝退，才是双输。

13.7 万域名的实测：发布很多，请求很少

Ahrefs 对 13.7 万域名的实测给出了目前最硬的一组数字：约 28% 的站点已发布 llms.txt，但 97% 的文件整个月零请求，AI 检索爬虫仅占这些站点请求的 1.1%。同一样本里，Slackbot 的请求都多于 PerplexityBot。完整口径见数据卡 llms.txt：28% 站点已发布，97% 全月零请求 与研究卡 Ahrefs 13.7 万域名研究；样本偏技术与 SEO 类站点，28% 的发布率应读作上界。

无任何证据表明部署 llms.txt 能改善被引用——这句话值得写两遍，因为“要不要部署 llms.txt”是 2025 年被问得最多的问题。数据给出的答案是：发布率先行，请求量缺位，效果无处安放。把它从 GEO 待办清单里划掉，不会损失任何可见度。

想自证也很容易：在自己的服务器日志里过滤 llms.txt 的请求，按 UA 与来源分类，看一个月内有多少来自真实的 AI 爬虫。多数站点的结果是零或接近零——亲眼看过这组数字，比读任何转述都更能校准预期。日志里若有零星请求，多半也是编程 agent 或安全扫描，不是搜索型爬虫。

顺带一提，这份自证也适用于评估第三方工具：任何声称能提升 llms.txt 效果的工具，都应能出示“部署前后请求量变化”的原始日志。拿不出日志、只出示引用率变化的，因果链根本接不上。

Google 的态度、真实受众与常见误用

Google 官方明确不支持 llms.txt（Illyes 口径），公开表述的理由大意是：搜索引擎已有成熟的发现与理解机制，不需要再加一层协议。这不是 Google 一家的保守——问题的根子在于没有任何爬虫被要求遵守它，而没有读取动机的机制就不会形成生态；约定如果没有执行方，就只是文档。

对比 robots.txt 的命运更清楚：它之所以有效，是因为爬虫厂商把遵守规则写进了自家抓取器的行为规范，双方形成事实契约。llms.txt 缺的正是这一环——没有厂商承诺读取，“部署”一词也就无从谈起，你只是放了一份文件在服务器上。

真实受众是编程 agent。当 AI 编程助手或自动化 agent 受命浏览一个陌生代码库或站点时，一份结构化说明能显著降低它的探索成本，这才是 llms.txt 目前被真实消费的场景。「部署 llms.txt=进 AI 引用池」是 2025 年最大的误区，把门票卖给不存在的闸机；把它当 agent 生态的铺垫，才是合理定位。

误用一：把 llms.txt 当 sitemap 的替代。sitemap 是被广泛消费的发现协议，llms.txt 没有等价的消费方；砍掉 sitemap 去维护 llms.txt，是把确定收益换成彩票。误用二：把 llms.txt 当 robots 用，在文件里写抓取禁令——它没有任何约束力，权限管理请回到 robots 的具名分组。

误用三：为它做预算。购买“llms.txt 生成与优化服务”之前，先向供应商要一个可验证的成功指标；对方的答案大概率绕回“被引用提升”，而这恰是数据已经否定的因果链。守住“预期值归零”的口径，这类支出就拦得住。

那到底要不要部署：本站的口径

我们的口径：低成本可部署（生成工具成熟），预期值归零——本站也部署了它，定位是“赌 agent 生态的顺手棋”。翻译成决策语言：不要为它排优先级，不要为它做预算，顺手生成一份即可。若团队里有人主张投入人力“打磨 llms.txt 策略”，正确的回应是请他先看数据卡里的请求分布，再把同样的力气花在内容可摘录性与收录通道上。

资源排序上，排在它前面的事项很多：让检索型爬虫放行无阻、保证内容可抓取可切分、把关键信息前置到页面开头。这些动作每一项都有可观测的产出，而 llms.txt 的产出目前无法观测——这本身就是最诚实的评估。

还有一点实操细节：把 llms.txt 与 llms-full.txt 放进构建流程自动生成，随站点结构同步更新，而不是手工维护——手工维护的文件必然过时，过时的导读比没有更糟。既然定位是期权，就让它的持有成本始终保持为零。

本站把它定位为“赌 agent 生态的顺手棋”，赌注的验证方式也在日志里：观察编程 agent 与自动化工具对 llms.txt 的请求是否随时间增长、是否有厂商开始在文档里声明会读取它。出现这类信号，说明文件的真实消费市场在成形；在此之前，它的角色就是一份几乎零成本的期权。

观察本身也要克制：为看日志专门搭监控属于本末倒置，把它并入既有的爬虫日志例行检查即可。期权的美德是便宜，一旦开始为它付费，性质就变了。

它与 robots.txt、Google-Extended、AIPREF 的分工

llms.txt 常被误当成协议，其实层次完全不同：robots.txt（AI 语境） 管的是“允不允许抓”，具名分组逐组生效，是爬虫真正会读的规则；Google-Extended 管的是“抓取的内容可否用于模型训练”；AIPREF（Content-Usage 声明） 管的是页面内容的使用偏好声明。llms.txt 不在其中任何一层，它说的是“如果你想了解我，可以先读这份说明书”——机器听不听，不归它管。分清这四件东西的层次，配置 AI 爬虫策略时才不会张冠李戴，也不会把预算花在没有反馈回路的动作上。