Ahrefs：13.7 万域名的 llms.txt 采纳与请求研究

llms.txt 到底有没有用？这份研究给出的答案是目前最硬的实证：没用——至少对“被 AI 搜索引用”这个目的没用。研究对 137,210 个域名的 llms.txt 文件做了请求侧实测，是目前该提案最完整的实证检验：发布率高（约 28% 的样本站点已发布）与使用率近零（97% 的文件整个月零请求）并存，真实受众是编程 agent 而非检索爬虫。它终结了“llms.txt 是 AI 入场券”的流行误解——一个几乎没人来读的文件，撑不起任何入场券的比喻。

采纳与使用的落差：28% 对 97% 怎么读

这两个数字要放在一起才有杀伤力。28% 的发布率说明站长社区的接受度不低——llms.txt 作为提案（一个放在站点根目录、用 Markdown 描述站点结构与关键页面的说明文件）足够简单，部署成本近零，顺手就能挂上。97% 的零请求则说明这份热情是单向的：发布者众，读取者寡。

读样本构成时还要再拧一圈。137,210 个域名来自 Ahrefs Web Analytics 的用户群，天然偏向技术类与 SEO 类站点——这批人恰恰是最早跟进 llms.txt 提案的群体，所以 28% 应读作全网发布率的上界，真实互联网的采纳率只会更低。有意思的是，这个偏差反而让“零请求”的结论更稳：即便在最愿意尝鲜、最有可能被工具链读取的样本里，97% 的文件仍然整月无人问津。采纳率高估、使用率却接近地板，两件事合起来，说明问题不在推广不足，而在需求侧本来就没这个需求。

这份研究也很适合直接搬进内部评审。当下属或供应商把“上线 llms.txt”列进方案时，只需要追问三个问题：哪个引擎的哪条链路会读它？读它之后影响的是收录、选源还是展示？有没有请求侧证据？前两个问题目前没有能过审的答案，第三个问题的答案就是这份研究。方案评审里最贵的不是做错，而是把不可验证的动作当成可交付的成果——llms.txt 恰好是这类动作的标本。

谁在请求 llms.txt：请求构成画出真实受众

研究最有信息量的部分是请求构成：AI 检索爬虫仅占这些文件全部请求的 1.1%，而 Slackbot 的请求量都比 PerplexityBot 多。这个排序几乎是一张受众画像——来读 llms.txt 的主要不是搜索引用链路上的爬虫，而是编程 agent 与自动化工具：它们在替用户浏览、总结、操作站点时，会顺手看一眼根目录有没有说明书。

顺着这张画像，llms.txt 的合理定位就清楚了：它是写给 agent 生态的赌注，不是写给搜索引擎的门票。编程 agent 读站点说明，是为了完成“帮我把这个网站的资料整理出来”这类任务；它们不决定你在 AI 回答里被不被引用。把它计入 GEO 效果预算，等于把一笔赌注记错了科目——赌赢了也不产生你想要的那种回报。站内数据卡《llms.txt：28% 站点已发布，97% 全月零请求》按 2026-05 口径收录了这组数字。

为什么检索引擎不看 llms.txt

机制上不难理解。检索增强路线的引擎靠自己的爬虫、索引与排序决定引用谁：模型拿到用户问题，去检索结果里取材，取材依据是页面自身的可摘录内容与检索相关性，而不是站点作者的自我描述。一个允许站点作者自报“我最重要”的文件，天然不适合充当选源依据——引擎没有理由把排序权交还给被排序的对象。这与 robots.txt 的处境形成对照：robots.txt 之所以被爬虫普遍遵守，是因为它管的是“能不能抓”这种引擎也受益的边界事务；llms.txt 想管的是“抓什么、怎么用”，越过了从许可到推荐的界线，引擎不接也合乎其利益逻辑。

还要分清“提案”与“标准”。robots.txt 之所以成为事实标准，是搜索引擎在长期博弈中主动选择遵守的结果，先有引擎的执行、后有行业的共识；llms.txt 目前只是社区提案，引擎侧既未宣布纳入选源依据，请求日志里也看不到动作。一个文件格式要成为入口，得先有读它的一方持续在读——这份研究恰好证明这一步还没有发生。用“未来会标准化”来论证今天该投入，是把提案文本当成了引擎的承诺。

从证据分层看，这份研究填的是“使用侧”的空白。此前围绕 llms.txt 的讨论多停在提案文本与立场表态，站方说该发、引擎不置可否；请求侧实测把问题从观点之争变成了观测事实——至少在样本与观测期内，检索链路对它的实际依赖约等于零。对本站用户，这就是够用的行动依据：不必再等“官方支持”的传闻落地，先按现有证据排优先级。

这份研究不能证明什么

边界也要说满，否则“没用”会变成新的迷信。其一，它证明的是“现在几乎没人读”，不是“永远没人读”——编程 agent 生态是慢变量，若未来某类 agent 把站点说明书纳入标准流程，结论需要重新评估；判据依然是请求侧数据，而不是提案文本又更新了几个版本。其二，观测是单月窗口加特定样本，零请求的“97%“对应的是那一个月，不同月份的绝对值会有出入，只是量级上的判断很难翻盘。其三，它不否定 llms.txt 对人类访客的导航价值——如果站方发现说明文件帮真实用户更快理解站点结构，那是另一本账，别记在 GEO 头上。把否定范围划准，结论才立得住。

部署决策与预算纪律

我们给站方的建议可以压成三句。第一，要做就当顺手赌注：部署成本近零，赌的是编程 agent 生态未来长成主流入口，写了不吃亏，维护也只需在站点结构大改时同步更新。第二，GEO 效果预算记零：不立项、不排期、不写进汇报的“优化动作”清单，谁提议把 llms.txt 当 GEO 交付物，谁就在透支团队对 GEO 的信任。第三，把省下的注意力投给实证有效项。

实证有效项有明确指向。技术层是 SSR/SSG——保证内容以可抓取的静态形态存在，这是被引用的前提而非加分项；分发层是 Bing 收录——站内另一条证据显示 ChatGPT 引用与 Bing 首页重合约 87%（据 Seer Interactive 实测，见《ChatGPT 引用与 Bing 首页约 87% 重合》），做好 Bing 侧的收录与抓取通路，比根目录里任何一个说明文件的证据等级都高。相比之下，研究里 PerplexityBot 的请求量甚至排不进前列，指望一份说明文件打动它，方向本身就偏了。

把三类动作放在同一张表里，优先级一目了然：

中文站点在这张表外还要多想一层：半封闭生态里的内容本就难以被通用工具抓取，说明文件改变不了生态墙，能改变的只有墙外那部分开放内容的质量与可摘录性——注意力放对了地方，才谈得上效率。

一句话收束：llms.txt 的正确位置在“低成本赌 agent 生态”，它的错误位置在“GEO 动作清单”。这份研究的价值，就是用 13.7 万个域名的请求日志把这两个位置划开——以后再有人把两者混在一起，可以直接把结论甩给他。