robots.txt AI-trainingtokens zijn er: wat te blokkeren, wat open te laten

Op 30 oktober 2026 zeiden Google, Microsoft Bing, OpenAI en Anthropic dat ze één gedeelde robots.txt-token voor AI-training-opt-outs zullen honoreren, __usage_ai-training. Bing splitst grounding ook uit in een eigen controle op paginaniveau. De verandering straft de totale blokkade af, die volgens een vendor-benchmarkaudit op 41% van de B2B-sites zit. Dit is wat elke schakelaar doet en wat je moet repareren voordat de handhaving op 1 februari 2027 begint.

Wat er op 30 oktober veranderde

Eén regel in robots.txt spreekt nu vier AI-bedrijven tegelijk aan. Het Internet-Draft draft-kelley-aipref-training-preference-signal-00, geschreven door Kevin Kelley van Anthropic en gepubliceerd op 30 oktober, definieert een “policy-token”, __usage_ai-training. Een site schrijft een gewone robots.txt-groep onder die token, en deelnemende providers lezen die als de voorkeur van de site over het gebruik van de content voor generatieve AI-training. Alle vier de bedrijven onderschreven het diezelfde dag.

Het voorbeeld van het ontwerp zelf meldt de hele site af voor training, op één map na:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Het mechanisme voegt geen nieuwe syntaxis toe. Padregels onder de token volgen RFC 9309, de robots.txt-standaard, inclusief longest-match-voorrang, en parsers die de token niet kennen negeren de groep zoals elke onbekende user agent. Het ontwerp is een individuele inzending zonder formele IETF-status; het verloopt op 3 mei 2027 tenzij herzien. Ondersteuning is aangekondigd, niet live, en elk bedrijf gaf een andere datum:

Meta wordt genoemd in de dankwoorden van het ontwerp en heeft het signaal publiek verwelkomd, maar heeft niet toegezegd het te honoreren (The Verge). Vandaag zijn het vier bedrijven die de token echt opvolgen. Behandel het als een voorkeur die die vier beloofd hebben te lezen, niet als een wet van het web.

Training, grounding en crawlen zijn drie verschillende schakelaars

De token zegt hoe content gebruikt mag worden, niet of een crawler hem mag ophalen. “Dit policy-token is geen richtlijn voor crawlgedrag”, stelt het ontwerp. Er staan nu drie aparte schakelaars op het spel: crawltoegang (ongewijzigd, regels per crawler); trainingsgebruik (de nieuwe gedeelde token); en groundinggebruik, dat AI-antwoorden voedt (controles op paginaniveau bij Microsoft; Google-Extended bij Google).

Vier beperkingen in het ontwerp tellen zwaarder dan de syntaxis:

1. Wildcardregels tellen niet. “Wildcard-groepen (d.w.z. User-agent: *) MOETEN NIET worden geïnterpreteerd als matchend met de policy-token.” Een totale Disallow: / onder * blokkeert crawlers maar drukt geen trainingsvoorkeur uit.
2. Geen groep betekent geen voorkeur. Een bestand zonder de token “drukt helemaal geen voorkeur uit”. Stilte is geen nee.
3. Private afspraken gaan voor. “Private afspraken KUNNEN voorkeuren die via dit mechanisme worden uitgedrukt, overschrijven.”
4. Specifiek wint van algemeen. Consumenten mogen propriëtaire tokens zoals Google-Extended of GPTBot als specifieker behandelen dan de gedeelde.

Google leidt de gedeelde token om naar de Google-Extended-schakelaar. De aankondiging van Search Central zegt dat wanneer een site afmeldt met de token en Google-Extended niet noemt, Google dat van plan is te lezen “alsof de uitgever Google-Extended had uitgesloten” (officieel). Google-Extended regelt de training van Gemini-modellen en grounding in Gemini Apps en Vertex AI, en het “heeft geen invloed op de opname van een site in Google Search en wordt daar niet als rankingsignaal gebruikt” (officiële docs). Dezelfde docs merken op dat sites die Google-Extended expliciet toestaan in aanmerking komen voor vermelding in Gemini Apps-antwoorden en klikken ontvangen. Die twee officiële uitspraken samen genomen is onze lezing, geen Google-zin, deze: een totale training-opt-out die je laat staan haalt een site ook uit de grounding in Gemini Apps. Wil je die citaties, sta Google-Extended dan expliciet toe.

Bing ging verder en maakte grounding tot een eigen instelling op paginaniveau, gedragen door een meta-tag of een X-Robots-Tag-header (officieel):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Er bestaat geen groundingvoorkeur voor de hele site in robots.txt; grounding is alleen op paginaniveau. DisallowExtended houdt content in aanmerking voor Microsoft-experiences zoals Copilot, AI Mode en Microsoft 365, terwijl het wordt ingehouden van groundingdiensten die Microsoft aan derden verkoopt, zoals Web IQ. Beide voorkeuren staan standaard op Allow als er niets is gepubliceerd. Microsofts eigen waarschuwing: Disallow of DisallowExtended kiezen vermindert je zichtbaarheid in AI-gegenereerde experiences aanzienlijk, hoewel geen van beide de geschiktheid in gewone Bing-resultaten verandert.

De totale blokkade is de dure fout

“De AI-bots” als één groep blokkeren was altijd al een categoriefout. Trainingscrawlers en antwoordcrawlers zijn verschillende user agents, en de tweede soort blokkeren verwijdert een site uit de antwoorden die kopers zien. De nieuwe controles maken het onmogelijk om het onderscheid te vermijden.

De markt scheidt de twee al, ongelijkmatig. De snapshot van Cloudflare Radar van 28 september 2026 over 4,242 robots.txt-bestanden laat zien dat elke grote trainingscrawler vaker uitgesloten dan toegestaan is: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (Cloudflare Radar-data via TechnologyChecker). De antwoordcrawlers draaien het om: OAI-SearchBot 0.91:1, bingbot 0.99:1. Een onafhankelijke crawl van 5,467 robots.txt-bestanden vond 19.9% van de sites die minstens één trainingscrawler bij de root blokkeren tegen 11.4% die een AI-zoekcrawler blokkeert, en 454 van de 874 GPTBot-blokkeerders staan OAI-SearchBot nog toe (Citevisor, oktober 2026). Operators die het onderscheid begrepen, hielden de juiste deur open.

Wie dat niet deed, is het waarschuwingscijfer. De Q1 2026-cohortaudit van CapstonAI (een vendor-benchmark, getrokken uit de eigen klantenbasis) concludeert dat 41% van de B2B-sites minstens één grote AI-bot blokkeert, meestal een overblijfsel van de “blokkeer alles”-paniek van 2023-2024 (CapstonAI). Elk van die blokkades werd geschreven toen de enige beschikbare schakelaar de kill switch op crawlniveau was. Vanaf 1 februari 2027 scheiden de schakelaars zich, en een site die nog op de verkeerde laag blokkeert, verdwijnt stilletjes uit antwoorden die hij nooit wilde verlaten. Dat telt, omdat antwoorden zijn waar kopers nu beginnen; onze eerdere notitie behandelt waarom genoemd worden door AI beter is dan ranken op Google.

Wat te blokkeren en wat open te laten

Beslis per contenttype, niet per bedrijf. Training is een rechtenbeslissing die je nu één keer kunt uiten, pad voor pad. Antwoordcrawlers en door de gebruiker getriggerde fetchers zijn distributie: laat ze open voor alles wat je geciteerd wilt hebben.

Eén rij verdient een kanttekening. Door de gebruiker getriggerde fetchers (ChatGPT-User, Claude-User, Perplexity-User) gaan af wanneer een persoon je in een chat bevraagt. OpenAI documenteert dat robots.txt mogelijk niet geldt voor ChatGPT-User, en Perplexity zegt dat Perplexity-User het doorgaans negeert (Citevisor). Voor die cluster is robots.txt een zwak instrument.

Wat te doen vóór 1 februari 2027

Er wordt nog niets afgedwongen, en precies daarom zijn de komende drie maanden de moeite waard. Fixes werken pas nadat motoren een site opnieuw crawlen, en Microsoft waarschuwt dat het publiceren van een instelling niet hetzelfde is als activeren. De volgorde:

1. Lees vandaag je robots.txt. Noteer elke AI-token erin en sorteer ze in training, antwoorden en user-fetch. Onze gratis instant check doet de eerste ronde in seconden.
2. Trek verouderde totale blokkades terug. Alles wat in 2023-2024 werd toegevoegd “om veilig te zijn” verdient een verse beslissing tegen de tabel hierboven.
3. Publiceer je NoArchive of NoCache, handel dan vóór 1 maart 2027: publiceer de nieuwe voorkeuren en leg de tijdelijke groundingvoorkeur vast in Bing Webmaster Tools, dat opent op 15 december 2026. Mis de datum en die pagina's vallen terug op Allow voor grounding tot de herbewerking.
4. Wil je citaties in Gemini Apps, sta Google-Extended dan expliciet toe. Zodra je de token adopteert, leest stilte als disallow.
5. Voeg de token-groep bewust toe, pad voor pad, met het voorbeeld van het ontwerp als patroon.
6. Verifieer en controleer maandelijks opnieuw. De handmatige methode kost een middag en geen gereedschap.

Het venster vóór handhaving

Per 4 november 2026 honoreert geen van de vier bedrijven de token al, en de adoptie is vrijwel nul. joinmassive controleerde op 1 november 49 nieuwssites en vond nul implementaties van de token; 10 van de 33 laadbare homepages dragen nog NoArchive- of NoCache-tags (joinmassive).

Waar wij passen

We bouwen zichtbaarheidsdiagnostiek voor ons werk, en crawlertoegang zit in de kern ervan. De gratis instant check van CiteGap leest je robots.txt en rapporteert welke AI-crawlers geblokkeerd zijn: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en Google-Extended. Het kost seconden. Voor het volledige beeld van wat AI over je product zegt, voert de geschreven diagnose 30 kopersvragen uit en geeft je een fixlijst.

Doe de gratis instant check

Veelgestelde vragen

Wat is de __usage_ai-training-token in robots.txt?

Een gedeelde “policy-token” gedefinieerd in IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Een site schrijft een gewone robots.txt-groep onder User-Agent: __usage_ai-training, en de Disallow- en Allow-regels eronder drukken de voorkeur van de site uit over het gebruik van elk pad voor generatieve AI-training. Google, Microsoft Bing, OpenAI en Anthropic kondigden op 30 oktober 2026 aan dat ze die zullen honoreren, met startdatums vanaf begin 2027 afhankelijk van het bedrijf.

Wat is de ai-grounding-token?

Microsofts AI Grounding-voorkeur op paginaniveau. Stel die in met <meta name="Bingbot" content="ai-grounding:disallow"> (of de X-Robots-Tag-header) om een pagina buiten AI-gegenereerde antwoorden te houden, of ai-grounding:disallowextended om Microsoft-experiences zoals Copilot toe te staan terwijl je groundingdiensten van derden inhoudt. Er bestaat geen groundingvoorkeur voor de hele site in robots.txt, en grounding valt terug op Allow als er niets is gepubliceerd.

Zet User-agent: * Disallow: / mijn site uit voor AI-training?

Nee. Het ontwerp zegt dat wildcard-groepen NIET geïnterpreteerd mogen worden als matchend met de policy-token, en een robots.txt-bestand zonder __usage_ai-training-groep drukt helemaal geen voorkeur uit. De totale blokkade blijft crawlgedrag regelen, en dat is een andere schakelaar dan gebruik.

Verweert een AI-training-opt-out mijn Google Search-rankings?

Nee. De crawlerdocumentatie van Google stelt dat Google-Extended de opname van een site in Google Search niet beïnvloedt en daar niet als rankingsignaal wordt gebruikt (officieel), en de gedeelde token wordt via de Google-Extended-controle gelezen. Microsoft zegt eveneens dat de nieuwe voorkeuren de geschiktheid in gewone Bing-zoekresultaten niet veranderen.

Moet ik AI-crawlers blokkeren in robots.txt?

Scheid de schakelaars. Blokkeer het crawlen van echt gevoelige paden zoals altijd. Druk je trainingsvoorkeur uit met de gedeelde token, pad voor pad. Laat antwoordcrawlers (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) en door de gebruiker getriggerde fetchers open voor alles wat je geciteerd wilt hebben, want het blokkeren daarvan haalt je pagina's uit de antwoorden die kopers zien.

Wanneer beginnen de AI-bedrijven de token te honoreren?

Microsoft Bing begint op 1 februari 2027 (officieel). Google richt zich op 2027, de crawlerdocs zeggen begin 2027. OpenAI zegt “in de komende maanden” (officieel). Anthropic is begonnen met implementeren. Per 4 november 2026 honoreert nog geen bedrijf de token.

Bronnen

• 3.83:10.91:1Blok-naar-allow-verhoudingen, trainingscrawler Bytespider 3.83:1 tegen antwoordcrawler OAI-SearchBot 0.91:1 (Cloudflare Radar, snapshot 28 september 2026, 4,242 robots.txt-bestanden; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): TechnologyChecker-analyse van Cloudflare Radar-data
• 19.9%11.4%19.9% van de sites blokkeert minstens één AI-trainingscrawler bij de root tegen 11.4% die een AI-zoekcrawler blokkeert; 454 van de 874 GPTBot-blokkeerders staan OAI-SearchBot toe (onafhankelijke crawl, 5,467 robots.txt-bestanden, oktober 2026): Citevisor 2026 robots.txt-studie
• 41%41% van de B2B-sites blokkeert minstens één grote AI-bot (Q1 2026-cohortaudit; vendor-benchmark, eigen klantenbasis van CapstonAI): CapstonAI robots.txt-gids
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, “Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 oktober 2026; token-semantiek, crawl-onafhankelijkheid, wildcard- en voorrangsregels): datatracker.ietf.org
• Kelleys aankondigingspost op de IETF-werkgroeplijst (implementatiestatus Anthropic; “drukt helemaal geen voorkeur uit”): mailarchive.ietf.org
• Google Search Central Blog, “Supporting a shared AI training control for websites” (John Mueller, 30 oktober 2026; Google-Extended-interpretatie, groundinggeschiktheid Gemini Apps, doel 2027): developers.google.com
• Google crawlerdocumentatie, Google-Extended-token (geen effect op Search-opname of ranking; grounding-scope; ondersteuningsnotitie begin 2027): developers.google.com
• Microsoft Bing Blog, “Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 oktober 2026; controles op paginaniveau ai-training / ai-grounding, DisallowExtended, tijdlijn 1 feb / 1 mrt / 30 sep 2027, uittreding NoArchive en NoCache): blogs.bing.com
• OpenAI, “Making it easier for websites to express AI training preferences” (30 oktober 2026; “komende maanden”; bestaande crawlercontroles gaan door): openai.com
• The Verge, berichtgeving over de adoptie door de vier bedrijven en de niet-toezegging van Meta (30 oktober 2026): theverge.com
• joinmassive, deploymentcheck van 49 nieuwssites op 1 november 2026 (0 tokens geïmplementeerd; 10 van de 33 laadbare homepages dragen nog NoArchive/NoCache): joinmassive.com