30 अक्टूबर 2026 को Google, Microsoft Bing, OpenAI और Anthropic ने AI प्रशिक्षण ऑप्ट-आउट के लिए एक साझा robots.txt टोकन का पालन करने की घोषणा की: __usage_ai-training. Bing grounding को अपने पेज-लेवल कंट्रोल में भी तोड़ रहा है। यह बदलाव ब्लैंकेट ब्लॉकिंग को दंडित करता है, जिसे एक vendor benchmark ऑडिट ने B2B साइटों के 41% में पाया। यहाँ हर कुंजी क्या नियंत्रित करती है, और 1 फ़रवरी 2027 के एनफोर्समेंट से पहले क्या ठीक करना है।

30 अक्टूबर को क्या बदला

robots.txt की एक पंक्ति अब एक साथ चार AI कंपनियों को संबोधित करती है। Anthropic के Kevin Kelley द्वारा लिखित और 30 अक्टूबर को प्रकाशित Internet-Draft draft-kelley-aipref-training-preference-signal-00 एक साझा “policy token” परिभाषित करता है: __usage_ai-training. एक साइट इस टोकन के तहत साधारण robots.txt समूह लिखती है और भागीदार प्रदाता इसे साइट की जनरेटिव AI प्रशिक्षण में सामग्री के उपयोग के प्रति प्राथमिकता के रूप में पढ़ते हैं। चारों कंपनियों ने उसी दिन इसकी पुष्टि की।

ड्राफ्ट का अपना उदाहरण एक फ़ोल्डर को छोड़कर पूरी साइट को प्रशिक्षण से बाहर रखता है:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

तंत्र कोई नया सिंटैक्स नहीं जोड़ता। टोकन के तहत पाथ नियम RFC 9309, robots.txt मानक का पालन करते हैं, जिसमें longest-match प्राथमिकता शामिल है, और टोकन को न जानने वाले पार्सर समूह को किसी अज्ञात user agent की तरह अनदेखा कर देते हैं। ड्राफ्ट बिना आधिकारिक IETF स्थिति के एक व्यक्तिगत प्रस्तुति है; संशोधित न होने पर 3 मई 2027 को समाप्त हो जाता है। समर्थन घोषित है, लाइव नहीं, और हर कंपनी ने अलग तारीख दी है:

प्रदाता उन्होंने क्या घोषित किया कब लागू होगा
Microsoft Bing प्रशिक्षण के लिए साझा टोकन, साथ में नए पेज-लेवल ai-training और ai-grounding कंट्रोल। NoArchive और NoCache सेवानिवृत्त हो रहे हैं। 1 फ़रवरी 2027; पुराने टैग 1 मार्च 2027 को गिने जाना बंद कर देते हैं (आधिकारिक)
Google साझा टोकन। जब Google-Extended निर्दिष्ट नहीं होता, तो टोकन के माध्यम से ऑप्ट-आउट को Google-Extended disallow के रूप में पढ़ा जाता है। लक्ष्य 2027; क्रॉलर दस्तावेज़ीकरण 2027 की शुरुआत बताता है (आधिकारिक)
OpenAI साझा सिग्नल। मौजूदा GPTBot और OAI-SearchBot कंट्रोल जगह पर हैं। “अगले कुछ महीनों में” (आधिकारिक)
Anthropic ड्राफ्ट का लेखक। अपनी सेवाओं में कार्यान्वयन पहले ही शुरू। प्रक्रिया में (आधिकारिक)

Meta ड्राफ्ट के आभारों में नामित है और सिग्नल का सार्वजनिक स्वागत करता है, लेकिन इसका पालन करने की प्रतिबद्धता नहीं जताई (The Verge)। आज टोकन का वास्तव में पालन करने वाली कंपनियों की सूची चार है। इसे इन चार कंपनियों की पढ़ने की प्रतिबद्धता वाली प्राथमिकता मानें, वेब का कानून नहीं।

प्रशिक्षण, grounding और क्रॉलिंग तीन अलग कुंजियाँ हैं

टोकन बताता है सामग्री का उपयोग कैसे किया जा सकता है, यह नहीं कि कोई क्रॉलर उसे ला सकता है या नहीं। “यह policy token क्रॉलिंग व्यवहार के लिए निर्देश नहीं है”, ड्राफ्ट कहता है। अब तीन अलग कुंजियाँ हैं: क्रॉल एक्सेस (अपरिवर्तित, क्रॉलर-प्रति नियम); प्रशिक्षण उपयोग (नया साझा टोकन); और AI उत्तरों को खिलाने वाला grounding उपयोग (Microsoft पर पेज-लेवल कंट्रोल; Google पर Google-Extended)।

ड्राफ्ट की चार सीमाएँ सिंटैक्स से अधिक मायने रखती हैं:

  1. Wildcard नियम गिने नहीं जाते। “Wildcard समूहों (यानी User-agent: *) को policy token से मैच होने के रूप में व्याख्या नहीं किया जाना चाहिए”। * के तहत ब्लैंकेट Disallow: / क्रॉलर ब्लॉक करता है लेकिन प्रशिक्षण प्राथमिकता व्यक्त नहीं करता।
  2. कोई समूह नहीं, कोई प्राथमिकता नहीं। टोकन के बिना फ़ाइल “कोई प्राथमिकता व्यक्त नहीं करती”। चुप्पी इनकार नहीं है।
  3. निजी समझौते वरिष्ठ हैं। “निजी समझौते इस तंत्र के माध्यम से व्यक्त प्राथमिकताओं को अधिरोहित कर सकते हैं”।
  4. विशिष्ट सामान्य को हराता है। उपयोगकर्ता Google-Extended या GPTBot जैसे proprietary टोकन को साझे से अधिक विशिष्ट मानने का विकल्प चुन सकते हैं।

Google साझे टोकन को Google-Extended कुंजी की ओर इशारा करता है। Search Central घोषणा कहती है कि जब कोई साइट टोकन के माध्यम से ऑप्ट-आउट करती है और Google-Extended का उल्लेख नहीं करती, तो Google उसे “प्रकाशक ने Google-Extended disallow किया” के रूप में पढ़ने की योजना बनाता है (आधिकारिक)। Google-Extended Gemini मॉडल प्रशिक्षण और Gemini Apps व Vertex AI में grounding को नियंत्रित करता है और “किसी साइट की Google Search में शामिल होने को प्रभावित नहीं करता, न ही वहाँ रैंकिंग सिग्नल के रूप में उपयोग होता है” (आधिकारिक दस्तावेज़)। वही दस्तावेज़ नोट करता है कि Google-Extended को स्पष्ट रूप से अनुमति देने वाली साइटें Gemini Apps उत्तरों में दिखने की पात्र होती हैं और क्लिक प्राप्त करती हैं। दोनों आधिकारिक कथनों को मिलाकर हमारी रीडिंग — Google का कथन नहीं — यह है: वैसे ही छोड़ा गया ब्लैंकेट प्रशिक्षण ऑप्ट-आउट साइट को Gemini Apps में grounding से भी बाहर कर देता है। यदि आप वे उद्धरण चाहते हैं, तो Google-Extended को स्पष्ट रूप से अनुमति दें।

Bing आगे गया और grounding को अपना पेज-लेवल सेटिंग बना दिया, जो meta टैग या X-Robots-Tag हेडर द्वारा ले जाया जाता है (आधिकारिक):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

robots.txt में साइट-व्यापी grounding प्राथमिकता नहीं है; grounding केवल पेज-लेवल है। DisallowExtended Microsoft की बेची जाने वाली grounding सेवाओं जैसे Web IQ से सामग्री रोकते हुए Copilot, AI Mode और Microsoft 365 जैसे Microsoft-संचालित अनुभवों के लिए सामग्री की पात्रता बनाए रखता है। दोनों प्राथमिकताएँ कुछ भी प्रकाशित न होने पर Allow पर लौटती हैं। Microsoft की अपनी चेतावनी: Disallow या DisallowExtended चुनना आपकी AI-जनित अनुभवों में दृश्यता बहुत कम कर देगा; पर कोई भी सामान्य Bing परिणामों में पात्रता नहीं बदलता।

ब्लैंकेट ब्लॉक महंगी गलती है

“AI बॉट्स” को एक समूह के रूप में ब्लॉक करना हमेशा श्रेणी त्रुटि रही है। प्रशिक्षण क्रॉलर और उत्तर क्रॉलर अलग user agent हैं, और बाद वाले को ब्लॉक करना आपकी साइट को खरीदारों के देखे उत्तरों से निकाल देता है। नए कंट्रोल इस अंतर को अपरिहार्य बनाते हैं।

बाजार पहले से दोनों को अलग कर रहा है, हालाँकि असमान रूप से। 4,242 robots.txt फ़ाइलों की Cloudflare Radar की 28 सितंबर 2026 स्नैपशॉट हर प्रमुख प्रशिक्षण क्रॉलर को अनुमति से अधिक बार ब्लॉक होते दिखाती है: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (Cloudflare Radar डेटा, TechnologyChecker के माध्यम से)। उत्तर क्रॉलर उलटे झुकते हैं: OAI-SearchBot 0.91:1, bingbot 0.99:1। 5,467 robots.txt फ़ाइलों के एक स्वतंत्र क्रॉल ने पाया कि 19.9% साइटें रूट पर कम से कम एक प्रशिक्षण क्रॉलर ब्लॉक करती हैं बनाम 11.4% एक AI सर्च क्रॉलर ब्लॉक करती हैं, और 874 GPTBot ब्लॉकरों में से 454 अभी भी OAI-SearchBot को अनुमति देते हैं (Citevisor, अक्टूबर 2026)। जिन ऑपरेटरों ने विभाजन समझा, उन्होंने सही दरवाजा खुला रखा।

जो नहीं समझे, वही चेतावनी संख्या है। CapstonAI का Q1 2026 कोहर्ट ऑडिट (उसके अपने ग्राहक आधार पर आधारित vendor benchmark) पाता है कि B2B साइटों के 41% कम से कम एक प्रमुख AI बॉट ब्लॉक करती हैं, अक्सर 2023-2024 “सब कुछ ब्लॉक करो” आतंक के अवशेष (CapstonAI)। उन ब्लॉक में से हर एक तब लिखा गया था जब उपलब्ध एकमात्र कुंजी क्रॉल-लेवल kill switch थी। 1 फ़रवरी 2027 से कुंजियाँ अलग हो जाती हैं, और जो साइट अभी भी गलत परत में ब्लॉक कर रही है वह उत्तरों से चुपचाप गायब हो जाती है जिन्हें खोने का उसका इरादा नहीं था। यह मायने रखता है क्योंकि उत्तर ही वह जगह है जहाँ खरीदार अब शुरू करते हैं; हमारे पिछले नोट में AI द्वारा नाम लिया जाना Google रैंकिंग क्यों हराता है शामिल है।

क्या ब्लॉक करें, क्या खुला छोड़ें

कंपनी के अनुसार नहीं, सामग्री प्रकार के अनुसार तय करें। प्रशिक्षण अब एक अधिकार निर्णय है जिसे आप एक बार, पाथ-बाय-पाथ व्यक्त कर सकते हैं। उत्तर क्रॉलर और यूज़र-ट्रिगर्ड fetcher वितरण हैं: जिसे आप उद्धृत होना चाहते हैं उसके लिए खुला छोड़ें।

सामग्री प्रशिक्षण (नया टोकन) उत्तर और यूज़र-फेच क्रॉलर
उद्धृत होने के लिए आपकी सार्वजनिक पेज अपनी प्राथमिकता __usage_ai-training से पाथ-बाय-पाथ बताएँ। खुला छोड़ें। उन्हें ब्लॉक करना आपको खरीदारों के देखे उत्तरों से निकाल देता है।
पेवॉल, लाइसेंस प्राप्त या प्रीमियम सामग्री Disallow — टोकन समूह या बॉट-प्रति नियमों से। निर्णय आपका। Grounding Bing की पेज-लेवल ai-grounding सेटिंग है।
आप उपयोग होना चाहते हैं ऐसे पेज (प्रेस किट, खुला डेटा) Allow. यही ड्राफ्ट का उदाहरण है। खुला छोड़ें।
स्टेजिंग, एडमिन, आंतरिक पाथ क्रॉलिंग उत्पाद टोकन या * से ब्लॉक करें, जैसा आज है। वही। टोकन उपयोग का प्रबंधन करता है, एक्सेस का नहीं।

एक पंक्ति अपवाद नोट की हकदार है। यूज़र-ट्रिगर्ड fetcher (ChatGPT-User, Claude-User, Perplexity-User) तब चलते हैं जब कोई व्यक्ति चैट के भीतर आपके बारे में पूछता है। OpenAI दस्तावेज़ित करता है कि robots.txt ChatGPT-User पर लागू नहीं हो सकता, और Perplexity कहता है कि Perplexity-User इसे आम तौर पर अनदेखा करता है (Citevisor)। उस क्लस्टर के लिए robots.txt कमजोर उपकरण है।

1 फ़रवरी 2027 से पहले क्या करें

अभी कुछ भी लागू नहीं है, और यही अगले तीन महीनों का उपयोग करने का कारण है। सुधार तभी लागू होते हैं जब इंजन आपकी साइट दोबारा क्रॉल करते हैं, और Microsoft चेतावनी देता है कि सेटिंग प्रकाशित करना उसे सक्रिय करने जैसा नहीं है। क्रम:

  1. आज अपना robots.txt पढ़ें। उसमें हर AI टोकन सूचीबद्ध करें और प्रशिक्षण, उत्तर और यूज़र-फेच के रूप में वर्गीकृत करें। हमारा मुफ्त instant-check पहला पास सेकंडों में करता है।
  2. पुराने ब्लैंकेट ब्लॉक सेवानिवृत्त करें। 2023-2024 में “सुरक्षा के लिए” जोड़ी गई हर चीज़ ऊपर की तालिका के मुकाबले नया निर्णय हकदार है।
  3. यदि आप NoArchive या NoCache प्रकाशित करते हैं तो 1 मार्च 2027 से पहले कदम उठाएँ: नई प्राथमिकताएँ प्रकाशित करें और अस्थायी grounding प्राथमिकता दर्ज करें जो 15 दिसंबर 2026 को खुलने वाले Bing Webmaster Tools में है। तारीख चूके तो वे पेज री-क्रॉल तक grounding के लिए Allow पर लौटते हैं।
  4. यदि आप Gemini Apps उद्धरण चाहते हैं तो Google-Extended को स्पष्ट रूप से अनुमति दें। टोकन अपनाने के बाद मौन disallow पढ़ा जाता है।
  5. टोकन समूह जानबूझकर जोड़ें, पाथ-बाय-पाथ, ड्राफ्ट के उदाहरण को टेम्पलेट मानकर।
  6. सत्यापित करें और मासिक दोबारा जाँचें। मैनुअल विधि एक दोपहर लेती है और किसी उपकरण की आवश्यकता नहीं।

एनफोर्समेंट से पहले की खिड़की

4 नवंबर 2026 तक चारों कंपनियों में से किसी ने अभी टोकन का पालन नहीं किया, और अपनाना लगभग शून्य है। joinmassive ने 1 नवंबर को 49 समाचार साइटों की जाँच की और शून्य टोकन डिप्लॉयमेंट पाए; 33 लोड होने योग्य होमपेज में से 10 अभी भी NoArchive या NoCache टैग रखते हैं (joinmassive)।

हम कहाँ खड़े हैं

हम जीवनयापन के लिए विज़िबिलिटी निदान बनाते हैं, और क्रॉलर एक्सेस उनके केंद्र में है। CiteGap का मुफ्त instant-check आपकी robots.txt पढ़ता है और रिपोर्ट करता है कि कौन से AI क्रॉलर ब्लॉक हैं: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot और Google-Extended. सेकंड लेता है। AI के आपके उत्पाद के बारे में कहे गए का पूरा चित्र के लिए लिखित निदान 30 खरीदार प्रश्न चलाता है और सुधार सूची देता है।

मुफ्त instant-check चलाएँ

अक्सर पूछे जाने वाले प्रश्न

robots.txt में __usage_ai-training टोकन क्या है?

IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00 में परिभाषित एक साझा “policy token”। साइट User-Agent: __usage_ai-training के तहत एक साधारण robots.txt समूह लिखती है, और उसके नीचे के Disallow व Allow नियम हर पाथ के जनरेटिव AI प्रशिक्षण में उपयोग के प्रति साइट की प्राथमिकता व्यक्त करते हैं। Google, Microsoft Bing, OpenAI और Anthropic ने 30 अक्टूबर 2026 को इसका पालन करने की घोषणा की, शुरुआती तारीखें 2027 की शुरुआत से।

ai-grounding टोकन क्या है?

Microsoft का पेज-लेवल AI Grounding प्राथमिकता। किसी पेज को AI-जनित उत्तरों से बाहर रखने के लिए <meta name="Bingbot" content="ai-grounding:disallow"> (या X-Robots-Tag हेडर) सेट करें; Microsoft-संचालित अनुभवों जैसे Copilot को अनुमति देते हुए Microsoft की तीसरी पार्टी को बेची जाने वाली grounding सेवाओं को रोकने के लिए ai-grounding:disallowextended। robots.txt में साइट-व्यापी grounding प्राथमिकता नहीं है, और कुछ भी प्रकाशित न होने पर grounding डिफ़ॉल्ट रूप से Allow है।

क्या User-agent: * Disallow: / मेरी साइट को AI प्रशिक्षण से ऑप्ट-आउट करता है?

नहीं। ड्राफ्ट कहता है कि wildcard समूहों को policy token से मैच होने के रूप में व्याख्या नहीं किया जाना चाहिए, और बिना __usage_ai-training समूह वाली robots.txt फ़ाइल कोई प्राथमिकता व्यक्त नहीं करती। ब्लैंकेट ब्लॉक फिर भी क्रॉलिंग को नियंत्रित करता है, जो उपयोग से अलग कुंजी है।

क्या AI प्रशिक्षण से ऑप्ट-आउट करना मेरी Google Search रैंकिंग को नुकसान पहुँचाता है?

नहीं। Google का क्रॉलर दस्तावेज़ीकरण कहता है कि Google-Extended किसी साइट की Google Search में शामिल होने को प्रभावित नहीं करता और वहाँ रैंकिंग सिग्नल के रूप में उपयोग नहीं होता (आधिकारिक); साझा टोकन को Google-Extended कंट्रोल के माध्यम से पढ़ा जाता है। Microsoft भी कहता है कि उसकी नई प्राथमिकताएँ सामान्य Bing खोज परिणामों में पात्रता नहीं बदलतीं।

क्या मुझे robots.txt में AI क्रॉलर ब्लॉक करने चाहिए?

कुंजियाँ अलग करें। वास्तव में संवेदनशील पाथ की क्रॉलिंग हमेशा की तरह ब्लॉक करें। प्रशिक्षण प्राथमिकता साझे टोकन से पाथ-बाय-पाथ व्यक्त करें। जिसे आप उद्धृत होना चाहते हैं उसके लिए उत्तर क्रॉलर (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) और यूज़र-ट्रिगर्ड fetcher खुले छोड़ें; उन्हें ब्लॉक करना आपके पेजों को खरीदारों के देखे उत्तरों से निकाल देता है।

AI कंपनियाँ टोकन का पालन कब शुरू करेंगी?

Microsoft Bing 1 फ़रवरी 2027 से शुरू कर रहा है (आधिकारिक)। Google 2027 को लक्षित करता है, उसका क्रॉलर दस्तावेज़ीकरण 2027 की शुरुआत कहता है। OpenAI “अगले कुछ महीनों में” कहता है (आधिकारिक)। Anthropic पहले ही लागू कर चुका है। 4 नवंबर 2026 तक किसी कंपनी ने अभी टोकन का पालन नहीं किया है।

स्रोत

  • ब्लॉक-अनुमति अनुपात: प्रशिक्षण क्रॉलर Bytespider 3.83:1 बनाम उत्तर क्रॉलर OAI-SearchBot 0.91:1 (Cloudflare Radar, 28 सितंबर 2026 स्नैपशॉट, 4,242 robots.txt फ़ाइलें; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): TechnologyChecker का Cloudflare Radar डेटा विश्लेषण
  • 19.9% साइटें रूट पर कम से कम एक AI प्रशिक्षण क्रॉलर ब्लॉक करती हैं बनाम 11.4% एक AI सर्च क्रॉलर ब्लॉक करती हैं; 874 GPTBot ब्लॉकरों में से 454 OAI-SearchBot को अनुमति देते हैं (स्वतंत्र क्रॉल, 5,467 robots.txt फ़ाइलें, अक्टूबर 2026): Citevisor का 2026 robots.txt अध्ययन
  • B2B साइटों के 41% कम से कम एक प्रमुख AI बॉट ब्लॉक करती हैं (Q1 2026 कोहर्ट ऑडिट; vendor benchmark, CapstonAI का अपना ही ग्राहक आधार): CapstonAI robots.txt गाइड
  • IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 अक्टूबर 2026; टोकन शब्दार्थ, क्रॉलिंग से स्वतंत्रता, wildcard व प्राथमिकता नियम): datatracker.ietf.org
  • Kelley की IETF वर्किंग ग्रुप सूची पर घोषणा पोस्ट (Anthropic कार्यान्वयन स्थिति; “कोई प्राथमिकता व्यक्त नहीं करती”): mailarchive.ietf.org
  • Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 अक्टूबर 2026; Google-Extended व्याख्या, Gemini Apps grounding पात्रता, 2027 लक्ष्य): developers.google.com
  • Google क्रॉलर दस्तावेज़ीकरण, Google-Extended टोकन (Search में शामिल होने या रैंकिंग पर कोई प्रभाव नहीं; grounding कार्यक्षेत्र; 2027 की शुरुआत समर्थन नोट): developers.google.com
  • Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 अक्टूबर 2026; पेज-लेवल ai-training / ai-grounding कंट्रोल, DisallowExtended, 1 फ़रवरी / 1 मार्च / 30 सितंबर 2027 अनुसूची, NoArchive व NoCache सेवानिवृत्त): blogs.bing.com
  • OpenAI, “Making it easier for websites to express AI training preferences” (30 अक्टूबर 2026; “अगले कुछ महीनों में”; मौजूदा क्रॉलर कंट्रोल जारी): openai.com
  • The Verge, चारों कंपनियों के अपनाने और Meta की गैर-प्रतिबद्धता की कवरेज (30 अक्टूबर 2026): theverge.com
  • joinmassive, 1 नवंबर 2026 को 49 समाचार साइटों पर डिप्लॉयमेंट जाँच (0 टोकन डिप्लॉयमेंट; 33 लोड होने योग्य होमपेज में से 10 अभी भी NoArchive/NoCache रखते हैं): joinmassive.com