想寫就寫:花十分鐘,也沒有壞處。只是別把它當成可見性策略。137K 個域名的伺服器日誌顯示,2026 年 5 月有 97% 的 llms.txt 文件從未被抓取;一項對 3,048 個網站的預註冊研究發現,被引用的站點並不更可能有這個文件。Google 搜索忽略它。
這個想法,以及它為何傳播開來
llms.txt 是放在網站根目錄的 Markdown 文件,概括這個網站是做什麼的,並連結到重要頁面。Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出這個格式,論據合理:網頁是為人構建的,AI 代理要剝掉導航、廣告和腳本才能讀懂它們,費時費 token。在一個固定位置放一份乾淨的摘要,讀取成本更低。
這個提案找到了受眾。在使用 Ahrefs 網站分析工具的 137K 域名樣本中,到 2026 年年中已有 28% 發佈了 llms.txt。主要 AI 實驗室為自己的開發者文檔發佈這種文件,2026 年 5 月下旬,Chrome 的 Lighthouse 在實驗性的代理瀏覽審計中加入了 llms.txt 檢查。這是一個有真實採用的格式,不是邊緣實驗。
證據一:97% 的文件從未被讀取
如果這個文件真像生成器落地頁描述的那樣有用,AI 爬蟲會不斷請求它。伺服器日誌給出了相反的答案。Ahrefs 分析了使用其分析產品的 137,210 個域名的伺服器日誌和實際流量。核心發現:2026 年 5 月,97% 已發佈的 llms.txt 文件收到零次請求。沒有任何東西抓取過它們。
剩下被抓取的 3% 也有答案。大多數請求來自各式各樣的爬蟲(96%)。有名有姓的 AI 工具佔抓取的 19.5%,GPTBot 第一,Claude-Code 第二,排在所有 AI 搜索爬蟲之前。另有 12% 來自生成式引擎優化工具、llms.txt 檢查器和研究者:這個行業在檢查自己的作業。
報告裏最尖銳的發現,埋在接近結尾的地方。對不存在的 llms.txt 文件,AI 爬蟲的請求數是零。它們從不主動去找。那些落地頁承諾生成“ChatGPT、Claude 和 Perplexity 都在尋找”的文件,但日誌里根本沒有這種查找發生過。
證據等級:大樣本觀察性日誌資料,單一月份(2026 年 5 月),單一分析服務商
證據二:被引用的站點並不更常擁有這個文件
抓取日誌測的是爬取。第二項研究測的是人們真正關心的東西:被引用。Timmermans Media 的 Matt Timmermans 在 2026 年 9 月把 400 個非品牌問題跑了一遍 ChatGPT 和 Gemini API,每個問題跑三次,收集回答所引用的每一個網站,並檢查這些站點有沒有 llms.txt。對照組是同樣這些問題在 Google 前 10 中未被引用的網站。總計 3,048 個網站。
結果是:可核查的被引用站點中 22.4% 有這個文件;可核查的未被引用站點中是 25.4%。區間重疊,硬要說方向的話還是反的。反過來數:1,331 個可核查的被引用站點中,有 1,033 個(78%)在 /llms.txt 處沒有可用文件。被引用最多的 20 個站點裏有 16 個完全沒有,包括荷蘭消費者協會和荷蘭政府網站。
這項研究的方法值得肯定,因為在這個市場上很少見。它做了預註冊,資料在 Zenodo 公開,作者把測到的和沒測到的分得很清楚:這是一個描述性比較,不是因果推斷,無法說明添加文件會不會改變站點的引用。他按站點類型對兩組重新加權,並報告這樣做之後那點差距進一步縮小。一份做得這麼仔細的零結果,比一份毫無章法的陽性結果更有價值。
證據等級:預註冊描述性比較,單一測量日(2026 年 9 月 26 日),荷蘭語問題,僅 ChatGPT 與 Gemini API
Google 怎麼說
Google 2026 年 5 月發佈的生成式 AI 功能優化指南里,有一節“Mythbusting generative AI search”(破除生成式 AI 搜索迷思),llms.txt 排在“可以忽略”清單的第一位:
“你不需要建立新的機器可讀文件、AI 文本文件、標記或 Markdown 來出現在 Google 搜索(包括其生成式 AI 功能)中,因為 Google 搜索本身不使用它們。”
指南還寫道,建立這個文件“既不會損害也不會提升你的網站在 Google 搜索中的可見性或排名,因為 Google 搜索忽略它們”。Ahrefs 報道,當 Lily Ray 追問 Google 的 John Mueller,為什麼 Chrome 的 Lighthouse 團隊要為一個搜索忽略的文件做審計時,Mueller 說 llms.txt“不是為搜索做的”,是 AI 編碼工具讀開發者文檔時的“臨時枴杖,或許為了省一些 token”。
這個描述與文件的實際用例吻合。它是給讀開發者文檔的編碼代理用的格式,不是通向搜索或聊天機器人引用的通道。
那些大話術從哪來
這一切都沒有讓營銷慢下來。生成器落地頁承諾,一旦你發佈文件,“下次 ChatGPT、Claude 或 Perplexity 訪問你的站點時,它拿到的是一張清晰的地圖,而不是靠猜”。插件落地頁告訴你,沒有這個文件,AI 系統“很少引用或推薦你”,其中一家還掛着“來自 Perplexity 的流量翻了三倍”的證言。檢查器工具在掃描一個主流引擎基本從不請求的文件。
同樣的模式在整個品類反覆出現。話術說得言之鑿鑿;支撐連結(如果有的話)指向另一家供應商的文章;真正帶對照組的實驗,回來都是空的。我們在 JSON-LD 那篇裏單獨梳理過同樣的模式(schema 標記對 AI 引用的真實作用):供應商頁面為標記改動報出很大的倍數,而對照實驗什麼都沒發現。當供應商為一次標記改動報出大幅提升時,先查這個數字來自對照實驗,還是來自供應商自己的基準。到目前為止,標記帶來的提升全部屬於後者。
那麼,到底該不該寫?
這是我們自己用的判斷標準。
值得花這十分鐘的情況:
- 你發佈開發者文檔。這是唯一有日誌證據支撐的用例。確實發生的抓取主要來自編碼工具:在 Ahrefs 日誌裏,GPTBot 和 Claude-Code 是最活躍的兩個 AI 抓取者,Mueller 也把這個格式描述成恰好面向這群人的枴杖。如果你的產品帶 API,這條就包括你。
- 你的 CMS 或 SEO 插件已經在生成一個。去檢查它,而不是無視它。自動生成的文件常常是空的或過期的,而空文件對那個罕見的讀取者沒有任何價值。
- 你想要在一個固定位置放一份規範、人類可讀的站點摘要。就算沒有爬蟲光顧,這也有純粹的文檔價值。
不值得投入預算的情況:
- 把 llms.txt 買成一種 AI 可見性策略。現有兩套最好的資料指向同一方向:這個文件不是槓桿。
- 每月手工維護並重新提交一個定製文件。在 Timmermans 的研究裏,大多數被引用的站點根本沒有這個文件,照樣被引用。這些站點真正共享的習慣才值得你花時間:在買家閱讀的網絡上被提及(為什麼被提及勝過排名),以及把品類問題回答完整的頁面。如果你還沒測過 AI 到底提不提你,手動測試一個下午就能做完,不需要任何工具。
我們在哪一環
我們靠做這些檢查吃飯。在 CiteGap 診斷裏,llms.txt 屬於衞生層:我們檢查你的文件是否存在、有沒有說出有用的內容,但不會假裝它能改變你的引用率。真正可能讓你損失可見性的檢查在上游:AI 爬蟲到底能不能觸達你的頁面、robots.txt 是否攔住了回答用户的那些爬蟲、你的頁面有沒有直白說清你的產品叫什麼。想先免費看一眼的話,即時檢查幾秒內跑完你的首頁,並把每項結果顯示在頁面上。
本文的每個數字都在 2026 年 11 月 4 日對照過連結來源。這個市場變化很快;在把其中任何數字放進客户提案之前,請重新核對。
來源
- Ahrefs:97% 的 llms.txt 文件從未被讀取(137,210 個域名,日誌與流量分析,2026 年 5 月資料,2026 年 6 月發佈):ahrefs.com/blog/llmstxt-study
- Timmermans Media:llms.txt 對 AI 引用有用嗎?(3,048 個網站,2026 年 9 月 26 日測量,2026 年 10 月 8 日發佈;預註冊,開放資料):timmermansmedia.com/research/llms-txt-ai-sources,預註冊 doi.org/10.5281/zenodo.22974863
- Google Search Central:為生成式 AI 功能優化你的網站,“Mythbusting generative AI search”一節:developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Google Search Central 發佈說明,2026 年 6 月 15 日:關於 llms.txt 文件的澄清指引:developers.google.com/search/updates
- llmstxt.org:Jeremy Howard 的原始提案,2024 年 9 月(v2,2026 年 8 月):llmstxt.org
- 上文引用的營銷示例:okara.ai llms.txt generator、hillms.com、ai-seo.pro