robots.txt AI eğitim tokenları geldi: neyi engellemeli, neyi açık bırakmalı

30 Ekim 2026'da Google, Microsoft Bing, OpenAI ve Anthropic, AI eğitiminden çıkmak için tek bir ortak robots.txt tokenına uyacaklarını ayrı ayrı açıkladı: __usage_ai-training. Bing ayrıca grounding'i kendi sayfa düzeyi kontrolüne ayırıyor. Bu değişiklik, bir vendor benchmark denetiminin B2B sitelerinin %41'inde bulduğu toplu engeli cezalandırıyor. İşte her anahtarın neyi kontrol ettiği ve yürürlük 1 Şubat 2027'de başlamadan önce düzeltilmesi gerekenler.

30 Ekim'de ne değişti

robots.txt'deki tek satır artık aynı anda dört AI şirketine konuşuyor. Anthropic'ten Kevin Kelley tarafından yazılan ve 30 Ekim'de yayımlanan Internet-Draft draft-kelley-aipref-training-preference-signal-00, ortak bir “policy token” tanımlıyor: __usage_ai-training. Bir site o token altında sıradan bir robots.txt grubu yazar ve katılımcı sağlayıcılar bunu, içeriğinin üretken yapay zeka eğitiminde kullanımına dair sitenin tercihi olarak okur. Dört şirket de aynı gün onayladı.

Taslağın kendi örneği, tek bir klasör dışında tüm siteyi eğitimden çıkarıyor:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Mekanizmada yeni sözdizimi yok. Token altındaki yol kuralları, longest-match önceliği dahil RFC 9309 robots.txt standardını izler ve tokenı bilmeyen ayrıştırıcılar grubu, bilinmeyen herhangi bir user agent gibi yok sayar. Taslak, resmî IETF statüsü olmayan bir bireysel sunumdur; revize edilmezse 3 Mayıs 2027'de sona erer. Destek açıklandı ama henüz canlıda değil ve her şirket farklı bir tarih verdi:

Meta, taslağın teşekkür bölümünde adı geçiyor ve sinyali kamuoyunda olumlu karşıladı, ancak buna uymayı taahhüt etmedi (The Verge). Bugün tokena gerçekten uyan şirket sayısı dört. Bunu, bu dördünün okumayı taahhüt ettiği bir tercih olarak görün; internetin yasası olarak değil.

Eğitim, grounding ve crawling üç farklı anahtardır

Token, içeriğin nasıl kullanılabileceğini söyler; bir crawler'ın onu çekebileceğini değil. “Bu policy token, crawling davranışı için bir direktif değildir” diyor taslak. Artık üç ayrı anahtar söz konusu: crawl erişimi (değişmedi, crawler başına kurallar); eğitim kullanımı (yeni ortak token); ve AI yanıtlarını besleyen grounding kullanımı (Microsoft'ta sayfa düzeyi kontroller; Google'da Google-Extended).

Taslağın dört sınırı, sözdiziminden daha önemli:

1. Joker kurallar sayılmaz. “Wildcard grupları (yani User-agent: *) policy token ile eşleşen olarak YORUMLANMAMALIDIR.” * altındaki genel bir Disallow: / crawler'ları engeller ama eğitim tercihi ifade etmez.
2. Grup yoksa tercih yok. Token olmayan bir dosya “hiçbir tercih ifade etmez”. Sessizlik bir hayır değildir.
3. Özel anlaşmalar önceliklidir. “Özel anlaşmalar bu mekanizma yoluyla ifade edilen tercihleri geçersiz kılabilir.”
4. Spesifik olan genelini yener. Kullananlar, Google-Extended veya GPTBot gibi tescilli tokenları, ortak olandan daha spesifik sayabilir.

Google, ortak tokenı Google-Extended anahtarına yönlendirir. Search Central duyurusu, bir site tokenla opt-out yaptığında ve Google-Extended'dan söz etmediğinde Google'ın bunu “yayıncı Google-Extended'ı disallow etmiş gibi” okumayı planladığını söyler (resmi). Google-Extended, Gemini modellerinin eğitimini ve Gemini Apps ile Vertex AI'daki grounding'i yönetir ve “bir sitenin Google Search'e dahil edilmesini etkilemez, ne de orada sıralama sinyali olarak kullanılır” (resmi doküman). Aynı doküman, Google-Extended'ı açıkça izin veren sitelerin Gemini Apps yanıtlarında görünmeye uygun olduğunu ve tıklama aldığını not eder. İki resmi açıklamayı birleştirince okumamız — bu bir Google cümlesi değil — şöyle: kendi haline bırakılan genel bir eğitim opt-out'u, siteyi Gemini Apps'teki grounding'den de çıkarır. O atıfları istiyorsanız, Google-Extended'a açıkça izin verin.

Bing daha da ileri gitti ve grounding'i, meta etiketle veya X-Robots-Tag başlığıyla taşınan kendi sayfa düzeyi ayarı haline getirdi (resmi):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

robots.txt'de site geneli bir grounding tercihi yoktur; grounding yalnızca sayfa düzeyindedir. DisallowExtended, içeriği Microsoft'un üçüncü taraflara sattığı Web IQ gibi grounding hizmetlerinden alıkoyarken Copilot, AI Mode ve Microsoft 365 gibi Microsoft işletmeli deneyimler için uygun tutar. İki tercih de hiçbir şey yayınlanmadığında Allow varsayılır. Microsoft'un kendi uyarısı: Disallow veya DisallowExtended seçmek, yapay zeka tarafından üretilen deneyimlerdeki görünürlüğünüzü önemli ölçüde azaltır; ama ikisi de normal Bing sonuçlarındaki uygunluğu değiştirmez.

Toplu engel pahalı hatadır

“AI botlarını” tek grup olarak engellemek her zaman kategori hatasıydı. Eğitim crawler'ları ve yanıt crawler'ları farklı user agent'lardır ve ikincisini engellemek bir siteyi alıcıların gördüğü yanıtlardan çıkarır. Yeni kontroller bu ayrımı kaçınılmaz hale getirir.

Piyasa bu ikisini zaten ayrıştırıyor, hele tutarsız biçimde de olsa. Cloudflare Radar'ın 28 Eylül 2026 tarihli, 4,242 robots.txt dosyasına ait anlık görüntüsü, her büyük eğitim crawler'ının izin verildiğinden daha sık engellendiğini gösteriyor: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (Cloudflare Radar verileri, TechnologyChecker üzerinden). Yanıt crawler'ları ters yöne kırıyor: OAI-SearchBot 0.91:1, bingbot 0.99:1. 5,467 robots.txt dosyasının bağımsız taraması, sitelerin %19,9'unun kökte en az bir eğitim crawler'ını engellediğini, %11,4'ünün ise bir AI arama crawler'ını engellediğini; 874 GPTBot engelleyicisinden 454'ünün hâlâ OAI-SearchBot'a izin verdiğini buldu (Citevisor, Ekim 2026). Bu ayrımı anlamış işletmeciler doğru kapıyı açık tuttu.

Anlamayanlar ise uyarı rakamı. CapstonAI'ın Q1 2026 kohort denetimi (kendi müşteri tabanından kurulu bir vendor benchmark), B2B sitelerinin %41'inin en az bir büyük AI botunu engellediğini ortaya koyuyor; genellikle 2023-2024 “her şeyi engelle” paniğinden kalma (CapstonAI). Bu engellerin her biri, tek anahtarın crawl düzeyi kill switch olduğu dönemde yazılmıştı. 1 Şubat 2027'den itibaren anahtarlar ayrışıyor ve hâlâ yanlış katmanda engelleyen bir site, çıkmak istemediği yanıtlardan sessizce kayboluyor. Bu önemli, çünkü yanıtlar artık alıcıların başlangıç noktası; önceki notumuz AI'da isimle anılmanın Google'da sıralanmayı neden yendiğini ele alıyor.

Neyi engellemeli, neyi açık bırakmalı

Şirkete göre değil, içerik türüne göre karar verin. Eğitim, artık bir kez, yol yol ifade edebileceğiniz bir hak kararıdır. Yanıt crawler'ları ve kullanıcı tetiklemeli fetcher'lar dağıtımdır: alıntılanmasını istediğiniz her şey için açık bırakın.

Bir satır bir istisna notu hak ediyor. Kullanıcı tetiklemeli fetcher'lar (ChatGPT-User, Claude-User, Perplexity-User), bir kişi sohbet içinde sizinle ilgili soru sorduğunda tetiklenir. OpenAI, robots.txt'in ChatGPT-User için uygulanmayabileceğini belgeler; Perplexity ise Perplexity-User'ın genellikle onu yok saydığını söyler (Citevisor). Bu küme için robots.txt zayıf bir araçtır.

1 Şubat 2027 öncesinde ne yapmalı

Henüz hiçbir şey uygulanmıyor; tam da bu yüzden önümüzdeki üç ay kullanmaya değer. Düzeltmeler ancak motorlar siteyi yeniden taradıktan sonra etkili olur ve Microsoft, bir ayarı yayınlamanın onu etkinleştirmekle aynı şey olmadığına dikkat çeker. Sıra şöyle:

1. robots.txt'inizi bugün okuyun. İçindeki her AI tokenını listeleyin ve eğitim, yanıt ve kullanıcı-fetch olarak ayrıştırın. Ücretsiz anında kontrolümüz ilk taramayı saniyeler içinde yapar.
2. Bayat toplu engelleri emekliye ayırın. 2023-2024'te “güvence olsun” diye eklenen her şey, yukarıdaki tabloya karşı yeni bir kararı hak eder.
3. NoArchive veya NoCache yayınlıyorsanız 1 Mart 2027 öncesinde harekete geçin: yeni tercihleri yayınlayın ve geçici grounding tercihini, 15 Aralık 2026'da açılan Bing Webmaster Tools'a kaydedin. Tarihi kaçırırsanız bu sayfalar yeniden taramaya kadar grounding için Allow varsayılır.
4. Gemini Apps atıfları istiyorsanız Google-Extended'a açıkça izin verin. Tokenı benimsedikten sonra sessizlik disallow okunur.
5. Token grubunu bilinçli ekleyin, yol yol; taslağın örneğini kalıp olarak kullanın.
6. Doğrulayın ve aylık yeniden kontrol edin. Manuel yöntem bir öğleden sonra sürer ve araç gerektirmez.

Yürürlük öncesi pencere

4 Kasım 2026 itibarıyla dört şirketten hiçbiri tokena henüz uymuyor ve benimseme sıfıra yakın. joinmassive, 1 Kasım'da 49 haber sitesini kontrol etti ve sıfır token dağıtımı buldu; yükleyebildiği 33 ana sayfadan 10'u hâlâ NoArchive veya NoCache etiketi taşıyor (joinmassive).

Biz nerede duruyoruz

Geçimimiz görünürlük tanılamaları kurmak, crawler erişimi de bunların merkezindedir. CiteGap'ın ücretsiz anında kontrolü robots.txt'inizi okur ve hangi AI crawler'larının engellendiğini raporlar: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ve Google-Extended. Saniyeler sürer. Yapay zekanın ürününüz hakkında söylediklerinin tam resmi için yazılı tanı, 30 alıcı sorusu çalıştırır ve size bir düzeltme listesi verir.

Ücretsiz anında kontrolü çalıştır

Sık sorulan sorular

robots.txt'deki __usage_ai-training tokenı nedir?

IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00'da tanımlanan ortak bir “policy token”. Bir site, User-Agent: __usage_ai-training altında sıradan bir robots.txt grubu yazar ve altındaki Disallow ile Allow kuralları, her yolun üretken yapay zeka eğitiminde kullanımına dair sitenin tercihini ifade eder. Google, Microsoft Bing, OpenAI ve Anthropic 30 Ekim 2026'da buna uyacaklarını açıkladı; başlangıç tarihleri şirkete göre 2027 başından itibaren.

ai-grounding tokenı nedir?

Microsoft'un sayfa düzeyindeki AI Grounding tercihi. Bir sayfayı yapay zeka tarafından üretilen yanıtların dışında tutmak için <meta name="Bingbot" content="ai-grounding:disallow"> (ya da X-Robots-Tag başlığı) ile ayarlayın; üçüncü taraf grounding hizmetlerini alıkoyarken Copilot gibi Microsoft işletmeli deneyimlere izin vermek için ise ai-grounding:disallowextended kullanın. robots.txt'de site geneli bir grounding tercihi yoktur ve hiçbir şey yayınlanmadığında grounding varsayılan olarak Allow'dır.

User-agent: * Disallow: / sitemi AI eğitiminden çıkarır mı?

Hayır. Taslak, joker gruplarının policy token ile eşleşen olarak YORUMLANMAMALIDIINI söyler ve __usage_ai-training grubu olmayan bir robots.txt dosyası hiçbir tercih ifade etmez. Toplu engel yine de crawling'i yönetir; bu, kullanımdan ayrı bir anahtardır.

AI eğitiminden çıkmak Google Search sıralamama zarar verir mi?

Hayır. Google'ın crawler dokümantasyonu, Google-Extended'ın bir sitenin Google Search'e dahil edilmesini etkilemediğini ve orada sıralama sinyali olarak kullanılmadığını belirtir (resmi); ortak token Google-Extended kontrolü üzerinden okunur. Microsoft da yeni tercihlerinin normal Bing arama sonuçlarındaki uygunluğu değiştirmediğini söyler.

robots.txt'de AI crawler'larını engellemeli miyim?

Anahtarları ayırın. Gerçekten hassas yolların crawling'ini her zaman olduğu gibi engelleyin. Eğitim tercihinizi ortak tokenla, yol yol ifade edin. Alıntılanmasını istediğiniz her şey için yanıt crawler'larını (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) ve kullanıcı tarafından tetiklenen fetcher'ları açık bırakın; çünkü bunları engellemek, sayfalarınızı alıcıların gördüğü yanıtlardan çıkarır.

AI şirketleri tokena ne zaman uymaya başlayacak?

Microsoft Bing 1 Şubat 2027'de başlıyor (resmi). Google 2027'yi hedefliyor, crawler dokümantasyonu 2027 başını söylüyor. OpenAI “önümüzdeki aylarda” diyor (resmi). Anthropic uygulamaya başladı bile. 4 Kasım 2026 itibarıyla hiçbir şirket tokena henüz uymuyor.

Kaynaklar

• 3.83:10.91:1Engelle-izin oranları: eğitim crawler'ı Bytespider 3.83:1, yanıt crawler'ı OAI-SearchBot 0.91:1'e karşı (Cloudflare Radar, 28 Eylül 2026 anlık görüntüsü, 4,242 robots.txt dosyası; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): Cloudflare Radar verilerinin TechnologyChecker analizi
• 19.9%11.4%Sitelerin %19,9'u kökte en az bir AI eğitim crawler'ını engelliyor, bir AI arama crawler'ını engelleyenler %11,4; 874 GPTBot engelleyicisinden 454'ü OAI-SearchBot'a izin veriyor (bağımsız tarama, 5,467 robots.txt dosyası, Ekim 2026): Citevisor 2026 robots.txt çalışması
• 41%B2B sitelerinin %41'i en az bir büyük AI botunu engelliyor (Q1 2026 kohort denetimi; vendor benchmark, CapstonAI'ın kendi müşteri tabanı): CapstonAI robots.txt rehberi
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 Ekim 2026; token semantiği, crawling bağımsızlığı, wildcard ve öncelik kuralları): datatracker.ietf.org
• Kelley'in IETF çalışma grubu listesine duyuru gönderisi (Anthropic uygulama durumu; “hiçbir tercih ifade etmez”): mailarchive.ietf.org
• Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 Ekim 2026; Google-Extended yorumu, Gemini Apps grounding uygunluğu, 2027 hedefi): developers.google.com
• Google crawler dokümantasyonu, Google-Extended tokenı (Search'e dahil edilme veya sıralamaya etkisi yok; grounding kapsamı; 2027 başı destek notu): developers.google.com
• Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 Ekim 2026; sayfa düzeyi ai-training / ai-grounding kontrolleri, DisallowExtended, 1 Şub / 1 Mar / 30 Eyl 2027 takvimi, NoArchive ve NoCache emekliye ayrılıyor): blogs.bing.com
• OpenAI, “Making it easier for websites to express AI training preferences” (30 Ekim 2026; “önümüzdeki aylarda”; mevcut crawler kontrolleri sürüyor): openai.com
• The Verge, dört şirketin benimsemesi ve Meta'nın taahhüt etmemesi haberleri (30 Ekim 2026): theverge.com
• joinmassive, 1 Kasım 2026'da 49 haber sitesinde dağıtım kontrolü (0 token dağıtımı; yükleyebildiği 33 ana sayfadan 10'u hâlâ NoArchive/NoCache taşıyor): joinmassive.com