llms.txt 规范档案
llms.txt 是放在站点路径上面向大语言模型的 markdown 说明文件，2024-09 首发、2026-08 更新到 v2。术语卡llms.txt给出结论性定位（预期值归零、真实受众是 agent 类工具），本档案只做一件事：把 v2 规范逐字段拆开，让要部署或要自查的站长有一份对照文本。先记一个大局判断：规范在演进，抓取面仍然冷——97% 发布站点全月零请求的口径见llms.txt 采纳与请求研究。两件事同时为真，就是本档案的立场：值得部署（成本近零、对 agent 类读者真实有效），不值得指望（别把它当引用杠杆写进任何 KPI）。
llms.txt v2 规范长什么样
v2 的结构目标只有一个：给机器一份“策展式、按需概览”。逐字段如下。
| 组成部分 | 必需性 | 作用与要点 |
|---|---|---|
| BOM | 可选 | 文件可带 UTF-8 BOM 开头 |
| H1 标题 | 唯一必需节 | 站点或项目名，全文件唯一的硬性要求 |
| blockquote 摘要 | 建议 | 引用块格式的一段话，讲清站点是什么 |
| 自由 Markdown 段 | 可选 | 补充背景、定位、使用政策等 |
| H2 文件列表节 | 结构主体 | 每行一条 [name](url): 说明，按主题分节列入口 |
Optional 标记节 |
可整节跳过 | 上下文紧张时，模型可略过标了 Optional 的节 |
这个结构的潜台词是分级供给：H1 与摘要保证最省 token 的理解，H2 清单保证按需展开，Optional 保证上下文不够时有明确的裁剪线。一个最小可用的骨架长这样：
# 站点名
> 一段话讲清这个站点是什么、为谁服务。
可选的自由段落，放定位与使用政策。
## 文档
- [快速开始](https://example.com/docs/quickstart): 安装与首个请求
- [API 参考](https://example.com/docs/api): 全量端点与参数
## Optional
- [更新日志](https://example.com/changelog): 上下文紧张时可跳过的补充信息v1 到 v2 变了什么
v2（2026-08）不是重写，是四处定向修订——对照如下。
| 维度 | v1（2024-09） | v2（2026-08） |
|---|---|---|
| 必需结构 | H1 加摘要加分节链接 | H1 仍是唯一必需节，结构不变 |
| 发现机制 | 无约定 | <link rel="describedby"> 或 HTTP Link: 头 |
| 每页 markdown | 无约定 | rel="alternate" type="text/markdown" 指向每页 .md |
| llms-full.txt | 配套约定，单文件打包全站 | 已退出规范，被每页 .md 思路取代 |
| 位置 | 根路径 | 根路径或任意子路径，多文件取最具体者 |
四处修订指向同一个方向：从“一个文件说明全站”走向“一个索引加可按需取用的页面”。理解了这个方向，迁移决策就清楚了。
位置与发现机制（v2 新增）
位置规则比 v1 宽：文件放根路径 /llms.txt 或任意子路径均可——/docs/llms.txt 的语义是覆盖该路径下 URL 的概览；多文件并存时取最具体者。规范刻意不用 /.well-known/ 目录，理由是现实里很多作者只控制子路径、未必能写根。两个实操推论：其一，文档站可以把 llms.txt 放进文档子路径随文档一起版本化，不必动站点根；其二，多产品站点可以每个产品一个 llms.txt，各自描述各自的入口，互不干扰。发现机制是 v2 新增的两条：一，在 HTML 里放 <link rel="describedby"> 指向 llms.txt，或用等价的 HTTP Link: 响应头；二，给关键页面配 markdown 版本，用 rel="alternate" type="text/markdown" 指向该页的 .md 文件——这是给能取全文的 agent 用的通道。两种发现入口里，响应头对爬虫更早可见（不用解析 HTML），HTML link 则随页面模板一次性铺开，改造成本更低，多数站点从前者试点、后者全量。
llms-full.txt 已不在 v2 规范中
现势陈述：llms-full.txt——把全站要点打包成单个大文件的变体——是 v1 时代的配套约定；v2 用“每页一个 .md 加 alternate 指针”的思路取代了它，规范文本中不再包含 llms-full.txt。实践中仍有工具在自动生成它，那些输出属于规范之外的约定。还在维护 llms-full.txt 的站点，值得评估是否迁移到每页 .md 的 v2 思路——它让模型按需取页而不是一次性吞下全站，与上下文窗口的现实更匹配。两个 Optional 节的使用建议也一并给出：它标的是“可跳过”，不是“可删除”——上下文紧张时模型略过整节，正常上下文下它仍是有效信息；因此把临时性内容（更新日志、活动页）放进 Optional，而不是反复删改。
生态与真实受众
工具面：Mintlify、GitBook、Wix 提供自动生成，部署与维护成本接近于零；OpenAI、Anthropic、Gemini 的官网自己也发布 llms.txt；社区有 Lighthouse 审计工具可做格式检查。官方定位口径：与 robots.txt、sitemap 互补——三者各管一段，合起来才是完整的机器视图：
| 文件 | 管什么 | 粒度 | 更新语义 |
|---|---|---|---|
| robots.txt | 抓取权限与使用偏好 | 全站/路径 | 有缓存周期，变更延迟生效 |
| sitemap | 全量 URL 清单 | 全站 | 引擎按自己的节奏来取 |
| llms.txt | 策展式重点概览 | 按主题分节 | 静态文件，改版时人工更新 |
受众面要诚实：检索型 AI 爬虫对它的读取仍冷，当前更真实的读者是编程 agent 与深度研究类工具——它们会按 describedby 与 alternate 指针取全文。爬虫名单与各自的抓取行为见AI 爬虫全景档案表与AI 爬虫。给部署者的成本账也要算清：生成工具解决的是“有”，v2 结构质量（H2 分节是否合理、说明是否准确）仍是人工活——一份自动生成但清单混乱的 llms.txt，对机器与人都只是噪音。
对站长的操作清单
- 用 v2 结构自查现有文件：H1 是否在、blockquote 摘要是否有、文件列表是否为
[name](url): 说明格式。 - 补发现机制：模板
<head>加<link rel="describedby">，或在响应头加等价Link:。 - 大型文档站按子路径拆多个 llms.txt，替代单一巨型文件。
- 给高价值页面配
.md版本，并用alternate type="text/markdown"指过去。 - 若生成工具还在输出 llms-full.txt，评估迁移到每页
.md的 v2 思路。 - 预期管理：它改善的是机器可读性，不是 AI 引用率——后者见 97% 零请求的数据卡。
限制与待核实
- “成千上万站点采用”为规范作者口径，无独立审计数字。
- 各检索型 AI 爬虫是否读取 llms.txt 无官方承诺；97% 零请求为 Ahrefs 2025 年口径。
- v2 的 describedby 与 Link 头在各家爬虫的实际解析支持面，无公开测试数据。
- Lighthouse 审计工具为社区项目，非规范附属品，检查项可能与 v2 文本有出入。
引用来源
- llmstxt.org（规范原文，2026-08 v2）