想写就写：花十分钟，也没有坏处。只是别把它当成可见性策略。137K 个域名的服务器日志显示，2026 年 5 月有 97% 的 llms.txt 文件从未被抓取；一项对 3,048 个网站的预注册研究发现，被引用的站点并不更可能有这个文件。Google 搜索忽略它。

这个想法，以及它为何传播开来

llms.txt 是放在网站根目录的 Markdown 文件，概括这个网站是做什么的，并链接到重要页面。Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出这个格式，论据合理：网页是为人构建的，AI 代理要剥掉导航、广告和脚本才能读懂它们，费时费 token。在一个固定位置放一份干净的摘要，读取成本更低。

这个提案找到了受众。在使用 Ahrefs 网站分析工具的 137K 域名样本中，到 2026 年年中已有 28% 发布了 llms.txt。主要 AI 实验室为自己的开发者文档发布这种文件，2026 年 5 月下旬，Chrome 的 Lighthouse 在实验性的代理浏览审计中加入了 llms.txt 检查。这是一个有真实采用的格式，不是边缘实验。

证据一：97% 的文件从未被读取

如果这个文件真像生成器落地页描述的那样有用，AI 爬虫会不断请求它。服务器日志给出了相反的答案。Ahrefs 分析了使用其分析产品的 137,210 个域名的服务器日志和实际流量。核心发现：2026 年 5 月，97% 已发布的 llms.txt 文件收到零次请求。没有任何东西抓取过它们。

剩下被抓取的 3% 也有答案。大多数请求来自各式各样的爬虫（96%）。有名有姓的 AI 工具占抓取的 19.5%，GPTBot 第一，Claude-Code 第二，排在所有 AI 搜索爬虫之前。另有 12% 来自生成式引擎优化工具、llms.txt 检查器和研究者：这个行业在检查自己的作业。

报告里最尖锐的发现放在接近末尾的位置。对不存在的 llms.txt 文件，AI 爬虫的请求数是零。它们从不主动去找。那些落地页承诺生成“ChatGPT、Claude 和 Perplexity 都在寻找”的文件，但日志里根本没有这种查找发生过。

证据等级：大样本观察性日志数据，单一月份（2026 年 5 月），单一分析服务商

证据二：被引用的站点并不更常拥有这个文件

抓取日志测的是爬取。第二项研究测的是人们真正关心的东西：被引用。Timmermans Media 的 Matt Timmermans 在 2026 年 9 月把 400 个非品牌问题跑了一遍 ChatGPT 和 Gemini API，每个问题跑三次，收集回答所引用的每一个网站，并检查这些站点有没有 llms.txt。对照组是同样这些问题在 Google 前 10 中未被引用的网站。总计 3,048 个网站。

结果是：可核查的被引用站点中 22.4% 有这个文件；可核查的未被引用站点中是 25.4%。区间重叠，硬要说方向的话还是反的。反过来数：1,331 个可核查的被引用站点中，有 1,033 个（78%）在 /llms.txt 处没有可用文件。被引用最多的 20 个站点里有 16 个完全没有，包括荷兰消费者协会和荷兰政府网站。

这项研究的方法值得肯定，因为在这个市场上很少见。它做了预注册，数据在 Zenodo 公开，作者把测到的和没测到的分得很清楚：这是一个描述性比较，不是因果推断，无法说明添加文件会不会改变站点的引用。他按站点类型对两组重新加权，并报告这样做之后那点差距进一步缩小。一份做得这么仔细的零结果，比一份毫无章法的阳性结果更有价值。

证据等级：预注册描述性比较，单一测量日（2026 年 9 月 26 日），荷兰语问题，仅 ChatGPT 与 Gemini API

Google 怎么说

Google 2026 年 5 月发布的生成式 AI 功能优化指南里，有一节“Mythbusting generative AI search”（破除生成式 AI 搜索迷思），llms.txt 排在“可以忽略”清单的第一位：

“你不需要创建新的机器可读文件、AI 文本文件、标记或 Markdown 来出现在 Google 搜索（包括其生成式 AI 功能）中，因为 Google 搜索本身不使用它们。”

指南还写道，创建这个文件“既不会损害也不会提升你的网站在 Google 搜索中的可见性或排名，因为 Google 搜索忽略它们”。Ahrefs 报道，当 Lily Ray 追问 Google 的 John Mueller，为什么 Chrome 的 Lighthouse 团队要为一个搜索忽略的文件做审计时，Mueller 说 llms.txt“不是为搜索做的”，是 AI 编码工具读开发者文档时的“临时拐杖，或许为了省一些 token”。

这个描述与文件的实际用例吻合。它是给读开发者文档的编码代理用的格式，不是通向搜索或聊天机器人引用的通道。

那些大话术从哪来

这一切都没有让营销慢下来。生成器落地页承诺，一旦你发布文件，“下次 ChatGPT、Claude 或 Perplexity 访问你的站点时，它拿到的是一张清晰的地图，而不是靠猜”。插件落地页告诉你，没有这个文件，AI 系统“很少引用或推荐你”，其中一家还挂着“来自 Perplexity 的流量翻了三倍”的证言。检查器工具在扫描一个主流引擎基本从不请求的文件。

同样的模式在整个品类反复出现。话术以事实的口吻陈述；支撑链接（如果有的话）指向另一家供应商的文章；真正做了任何控制的实验，回来都是空的。我们在 JSON-LD 那篇里单独梳理过同样的模式（schema 标记对 AI 引用的真实作用）：供应商页面为标记改动报出很大的倍数，而对照实验什么都没发现。当供应商为一次标记改动报出大幅提升时，先查这个数字来自对照实验，还是来自供应商自己的基准。到目前为止，标记带来的提升全部属于后者。

那么，到底该不该写？

这是我们自己用的判断标准。

值得花这十分钟的情况：

  • 你发布开发者文档。这是唯一有日志证据支撑的用例。确实发生的抓取主要来自编码工具：在 Ahrefs 日志里，GPTBot 和 Claude-Code 是最活跃的两个 AI 抓取者，Mueller 也把这个格式描述成恰好面向这群人的拐杖。如果你的产品带 API，这条就包括你。
  • 你的 CMS 或 SEO 插件已经在生成一个。去检查它，而不是无视它。自动生成的文件常常是空的或过期的，而空文件对那个罕见的读取者没有任何价值。
  • 你想要在一个固定位置放一份规范、人类可读的站点摘要。就算没有爬虫光顾，这也有纯粹的文档价值。

不值得投入预算的情况：

  • 把 llms.txt 买成一种 AI 可见性策略。现有两套最好的数据指向同一方向：这个文件不是杠杆。
  • 每月手工维护并重新提交一个定制文件。在 Timmermans 的研究里，大多数被引用的站点根本没有这个文件，照样被引用。这些站点真正共享的习惯才值得你花时间：在买家阅读的网络上被提及（为什么被提及胜过排名），以及把品类问题回答完整的页面。如果你还没测过 AI 到底提不提你，手动测试一个下午就能做完，不需要任何工具。

我们在哪一环

我们靠做这些检查吃饭。在 CiteGap 诊断里，llms.txt 属于卫生层：我们检查你的文件是否存在、有没有说出有用的内容，但不会假装它能改变你的引用率。真正可能让你损失可见性的检查在上游：AI 爬虫到底能不能触达你的页面、robots.txt 是否拦住了回答用户的那些爬虫、你的页面有没有直白说清你的产品叫什么。想先免费看一眼的话，即时检查几秒内跑完你的首页，并把每项结果显示在页面上。

运行免费即时检查

本文的每个数字都在 2026 年 11 月 4 日对照过链接来源。这个市场变化很快；在把其中任何数字放进客户提案之前，请重新核对。

来源