चाहें तो लिख लीजिए: दस मिनट लगते हैं और कुछ नहीं टूटता। बस इसे विज़िबिलिटी की रणनीति बताकर प्लान में मत लिखिए। 137K डोमेन के सर्वर लॉग दिखाते हैं कि llms.txt फ़ाइलों के 97% मई 2026 में एक बार भी डाउनलोड नहीं हुए, और 3,048 पन्नों का प्री-रजिस्टर्ड अध्ययन पाता है कि उद्धृत पन्नों के पास फ़ाइल ज़्यादा नहीं होती। Google Search इसे अनदेखा करता है।

विचार और उसका फैलाव

llms.txt साइट की जड़ में रखी एक Markdown फ़ाइल है जो बताती है साइट किस बारे में है और ज़रूरी पन्नों की ओर इशारा करती है। Answer.AI के जेरेमी हॉवर्ड ने यह फ़ॉर्मैट सितंबर 2024 में एक सहज दलील के साथ प्रस्तावित किया: वेब पन्ने इंसानों के लिए बने हैं, और AI एजेंट जिसे पढ़ने से पहले नेविगेशन, विज्ञापन और स्क्रिप्ट काटनी पड़ती है, वह उसके लिए समय और टोकन चुकाता है। प्रत्याशित जगह पर साफ़ सारांश सस्ता पढ़ना है।

इस प्रस्ताव पर लोग आगे आए। Ahrefs की 137K डोमेन की अपने web analytics प्रोडक्ट वाली नमूने में 28% ने 2026 के मध्य तक llms.txt प्रकाशित किया। बड़ी AI लैब्स अपनी डेवलपर डॉक्यूमेंटेशन के लिए ऐसी फ़ाइलें प्रकाशित करती हैं, और मई 2026 के अंत तक Chrome के Lighthouse ने अपने प्रयोगात्मक एजेंटिक नेविगेशन ऑडिट में llms.txt चेक जोड़ा। यह असली फ़ॉर्मैट है, जिसे सच में अपनाया गया है — कोई कोने का प्रयोग नहीं।

सबूत 1: 97% फ़ाइलें कभी पढ़ी ही नहीं जातीं

अगर फ़ाइल वह काम करती जो जनरेटर लैंडिंग पेज दावा करते हैं, तो AI क्रॉलर इसे लगातार माँगते। सर्वर लॉग उल्टा कहता है। Ahrefs ने अपने एनालिटिक्स प्रोडक्ट इस्तेमाल करने वाले 137,210 डोमेन के लॉग और असली ट्रैफ़िक का विश्लेषण किया। सबसे अहम निष्कर्ष: प्रकाशित llms.txt फ़ाइलों के 97% ने मई 2026 में एक भी रिक्वेस्ट नहीं पाया। उन्हें कभी कोई एजेंट लाता ही नहीं।

डाउनलोड हुई 3% की अपनी कहानी है। ज़्यादातर रिक्वेस्ट हर किस्म के बॉट्स से आईं (96%)। नाम गिनाए गए AI टूल्स डाउनलोड के 19.5% के ज़िम्मेदार थे — GPTBot आगे, उनके पीछे Claude-Code, सारे AI सर्च बॉट्स को पीछे छोड़ते हुए। एक और 12% GEO टूल्स, llms.txt चेकर्स और रिसर्चर्स से आया: इंडस्ट्री अपना गृहकार्य खुद जाँच रही है।

सबसे तीखा निष्कर्ष रिपोर्ट के अंत में है। जो llms.txt फ़ाइलें मौजूद ही नहीं थीं, उनके लिए AI बॉट्स ने शून्य रिक्वेस्ट भेजीं। वे कभी उसे खोजने नहीं जाते। «ChatGPT, Claude और Perplexity जो स्पेसिफ़िकेशन खोजते हैं उसी हिसाब से बना» फ़ाइल वादा करने वाले लैंडिंग पेज वह पढ़ाई बयान करते हैं जो लॉग में घटित ही नहीं होती।

सबूत का स्तर: बड़े नमूने का अवलोकनात्मक लॉग डेटा, एक महीना (मई 2026), एक एनालिटिक्स वेंडर

डाउनलोड लॉग क्रॉलिंग नापते हैं। दूसरा अध्ययन वह नापता है जो सच में मायने रखता है: उद्धृत होना। Timmermans Media के मैट टिमरमांस ने सितंबर 2026 में बिना ब्रांड वाले 400 सवाल ChatGPT और Gemini API से निकाले, हर सवाल के तीन पास, जवाबों में उद्धृत हर पेज जमा किया, और जाँचा कि उनके पास llms.txt है या नहीं। तुलना समूह: उन्हीं सवालों के लिए Google के टॉप 10 में आए, गैर-उद्धृत पन्ने। कुल 3,048 पन्ने।

नतीजा: सत्यापित किए जा सकने वाले उद्धृत पन्नों के 22.4% के पास फ़ाइल थी। और सत्यापित गैर-उद्धृत पन्नों के 25.4% के। अंतराल आपस में घिरे हैं और दिशा उल्टी ज़्यादा करीब है। दूसरे शब्दों में: सत्यापित उद्धृत 1,331 पन्नों में 1,033 के (78%) /llms.txt पर कोई काम का फ़ाइल नहीं था। सबसे ज़्यादा उद्धृत 20 पन्नों में 16 के — जिनमें डच कंज़्यूमर एसोसिएशन और राष्ट्रीय सरकार की साइट शामिल हैं — कोई फ़ाइल नहीं थी।

अध्ययन अपनी पद्धति के लिए — जो इस बाज़ार में दुर्लभ है — तारीफ़ का हक़दार है। प्री-रजिस्टर्ड, Zenodo पर खुला डेटा, और लेखक अपनी नापी को उससे अलग रखता है जो उसने नहीं नापा: यह वर्णनात्मक तुलना है, कारणात्मक नहीं; यह नहीं दिखा सकती कि फ़ाइल जोड़ने किसी पेज के citations बदल देते या नहीं। उसने दोनों समूहों को पेज किस्म से फिर से वज़न दिया और बताया कि छोटा अंतर और छोटा हो जाता है। इतनी ईमानदारी से पेश किया गया शून्य नतीजा बिना किसी ईमानदारी के पेश किए गए सकारात्मक नतीजे से ज़्यादा कीमती है।

सबूत का स्तर: प्री-रजिस्टर्ड वर्णनात्मक तुलना, एक नापने का दिन (26 सितंबर 2026), डच भाषा के सवाल, सिर्फ ChatGPT और Gemini API

Google क्या कहता है

Google की मई 2026 में प्रकाशित generative AI ऑप्टिमाइज़ेशन गाइड में «Mythbusting generative AI search» सेक्शन है, और llms.txt उस लिस्ट की अगुआई करता है जिसे आप अनदेखा कर सकते हैं:

«Google Search (उसकी generative AI सुविधाओं समेत) में दिखने के लिए आपको नई मशीन-रीडेबल फ़ाइलें, AI के लिए टेक्स्ट फ़ाइलें, मार्कअप या Markdown बनाने की ज़रूरत नहीं है, क्योंकि Google Search खुद इनका इस्तेमाल नहीं करता।»

गाइड जोड़ती है कि उसे बनाना «आपके पेज की Google Search में विज़िबिलिटी या स्थिति को नुकसान नहीं देता और न मदद, क्योंकि Google Search इन्हें अनदेखा करता है।» Ahrefs उद्धृत करता है: जब Lily Ray ने पूछा कि Chrome Lighthouse टीम किसी ऐसे फ़ाइल का ऑडिट क्यों करे जिसे सर्च अनदेखा करता है, तो Google के John Mueller ने llms.txt को सर्च के लिए «नहीं बनाया हुआ» फ़ॉर्मैट कहा; डेवलपर डॉक्यूमेंटेशन पढ़ने वाले AI कोडिंग टूल्स के लिए «अस्थायी सहारा — शायद कुछ टोकन बचाने के लिए»।

यह विवरण फ़ाइल के असली इस्तेमाल से जमता है। यह फ़ॉर्मैट तकनीकी डॉक्यूमेंटेशन पढ़ने वाले कोडिंग एजेंटों के लिए है — सर्च चैनल या चैटबॉट citations का चैनल नहीं।

बड़े वादे कहाँ से आते हैं

इनमें से कुछ भी मार्केटिंग को नहीं रोकता। जनरेटर लैंडिंग पेज वादा करते हैं कि «अगली बार जब ChatGPT, Claude या Perplexity आपकी साइट पर आएगा, उसे अंदाज़े की जगह साफ़ नक़्शा मिलेगा»। प्लगइन पेज दावा करते हैं कि बिना फ़ाइल AI सिस्टम «आपको कभी-कभार ही उद्धृत या सुझाया करते हैं», और एक Perplexity से आए ट्रैफ़िक «तीन गुना» होने की गवाही से नाचता है। चेकर टूल्स उस फ़ाइल को स्कैन करते हैं जिसके बारे में बड़े इंजन लगभग कभी पूछते ही नहीं।

यह नमूना पूरी कैटेगरी में दोहराया जाता है। वादा तथ्य की तरह गढ़ा जाता है। सहारे का लिंक, अगर है, तो दूसरे वेंडर के लेख पर जाता है। जो अध्ययन कुछ नियंत्रित करते हैं वे खाली लौटते हैं। वही नमूना हमने JSON-LD के लिए बयान किया (schema markup AI citations के साथ असल में क्या करता है): वेंडर पन्ने मार्कअप बदलावों के लिए बहुत बड़े गुणक उद्धृत करते हैं जबकि नियंत्रित टेस्ट कुछ नहीं पाते। जब कोई वेंडर मार्कअप सुधार के लिए बहुत बड़ा फ़ायदा उद्धृत करे, जाँच लीजिए संख्या नियंत्रित अध्ययन से आई है या वेंडर के अंदरूनी बेंचमार्क से। अब तक मार्कअप के सारे फ़ायदे दूसरी किस्म के रहे हैं।

तो लिखें या नहीं?

जो फ़ैसला हम खुद पर चलाते हैं, वही पेश है।

दस मिनट के काबिल:

  • आप डेवलपर डॉक्यूमेंटेशन प्रकाशित करते हैं। यही वही एक उपयोग है जो लॉग पर टिकता है। जो डाउनलोड होते हैं वे ज़्यादातर कोडिंग टूल्स से आते हैं: Ahrefs के लॉग में सबसे चुस्त दो AI फ़ेचर GPTBot और Claude-Code थे, और Mueller ने फ़ॉर्मैट को ठीक इसी दर्शक वर्ग के लिए सहारा कहा। अगर आपका प्रोडक्ट API उपलब्ध कराता है, तो यह आपका मामला है।
  • आपका CMS या SEO प्लगइन इसे खुद बनाता है। अनदेखा करने की बजाय जाँच लीजिए। अपने-आप बनी फ़ाइलें खाली या पुरानी हो सकती हैं, और खाली फ़ाइल उस दुर्लभ एजेंट की मदद नहीं करती जो फिर भी पढ़ लेता है।
  • आप अपनी साइट का प्रत्याशित जगह पर इंसान-पढ़ू, मानक सारांश चाहते हैं। इसकी दस्तावेज़ी कीमत है, चाहे कोई क्रॉलर न झाँके।

बजट के काबिल नहीं:

  • llms.txt खरीदना AI विज़िबिलिटी की रणनीति के रूप में। मौजूद दो सबसे अच्छे डेटा सेट एक ही कहते हैं: फ़ाइल लीवर नहीं है।
  • हर महीने फ़ाइल की सेहत सँभालना और बेकार में बार-बार दोबारा सबमिट करना। टिमरमांस की स्टडी में ज़्यादातर उद्धृत पन्नों के पास फ़ाइल नहीं थी और फिर भी उद्धृत हुए। जो आदतें उन पन्नों में सचमुच साझा हैं वे आपके घंटों की हक़दार हैं: उस जाल में नाम से बुलाया जाना जो आपके ख़रीदार पढ़ते हैं (नाम बुलाया जाना रैंकिंग से ज़्यादा क्यों कीमती है) और कैटेगरी के सवाल का पूरा जवाब देने वाले पन्ने। अगर आपने कभी नापा नहीं कि AI आपका नाम लेता है या नहीं, तो हाथ से टेस्ट एक दोपहर लेता है और औज़ार नहीं माँगता।

इन सब में हमारी जगह

ये जाँचें हम इसलिए करते हैं कि इसी से गुज़ारा है। CiteGap के निदान में llms.txt सफ़ाई के स्तर पर रहता है: हम देखते हैं कि आपकी फ़ाइल मौजूद है और काम की बात कहती है, यह दावा किए बिना कि वह आपका citation मीटर बदल देती है। जो जाँचें वाक़ई आपकी विज़िबिलिटी की कीमत ले सकती हैं वे उससे पहले हैं: AI क्रॉलर आपके पन्नों तक पहुँचते हैं या नहीं, robots.txt उन बॉट्स को रोकता है या नहीं जो उपयोगकर्ताओं का जवाब देते हैं, और आपके पन्ने साफ़ बताते हैं या नहीं कि आपके प्रोडक्ट का नाम क्या है। मुफ़्त पहली नज़र के लिए: तुरंत जाँच आपका होमपेज सेकंडों में जाँचती है और हर नतीजा पेज पर दिखाती है।

मुफ़्त सत्यापन चलाएँ

इस लेख की हर संख्या 4 नवंबर 2026 को लिंक किए गए स्रोत से मिलाई गई है। यह बाज़ार तेज़ी से चलता है; क्लाइंट के मटीरियल में कोई भी संख्या उद्धृत करने से पहले दोबारा जाँच लीजिए।

स्रोत

  • Ahrefs: 97% llms.txt फ़ाइलें कभी नहीं पढ़ी जातीं (137,210 डोमेन, लॉग और ट्रैफ़िक विश्लेषण, मई 2026 का डेटा, जून 2026 में प्रकाशित): ahrefs.com/blog/llmstxt-study
  • Timmermans Media: क्या llms.txt AI citations में मदद करता है? (3,048 पन्ने, 26 सितंबर 2026 को नापा गया, 8 अक्टूबर 2026 को प्रकाशित; प्री-रजिस्टर्ड, खुला डेटा): timmermansmedia.com/research/llms-txt-ai-sources, प्री-रजिस्ट्रेशन doi.org/10.5281/zenodo.22974863
  • Google Search Central: अपने पेज को generative AI सुविधाओं के लिए अनुकूलित करें, «Mythbusting generative AI search» सेक्शन: developers.google.com/search/docs/fundamentals/ai-optimization-guide
  • Google Search Central, 15 जून 2026 के रिलीज़ नोट्स: llms.txt फ़ाइलों पर स्पष्टीकरण: developers.google.com/search/updates
  • llmstxt.org: जेरेमी हॉवर्ड का मूल प्रस्ताव, सितंबर 2024 (v2, अगस्त 2026): llmstxt.org
  • ऊपर उद्धृत मार्केटिंग उदाहरण: okara.ai llms.txt generator, hillms.com, ai-seo.pro