Die robots.txt-KI-Training-Token sind da: Was blockieren, was offenlassen

Am 30. Oktober 2026 kündigten Google, Microsoft Bing, OpenAI und Anthropic an, einen gemeinsamen robots.txt-Token für KI-Training-Opt-outs zu respektieren: __usage_ai-training. Bing trennt Grounding zusätzlich in eine eigene Seitenebenen-Kontrolle. Der Pauschalblock ist der teuerste Fehler dieser Änderung: Ein Anbieter-Benchmark-Audit setzt ihn auf 41% der B2B-Websites. Was jeder Schalter steuert und was vor dem 1. Februar 2027 zu korrigieren ist, steht unten.

Was sich am 30. Oktober geändert hat

Eine Zeile in robots.txt spricht jetzt vier KI-Firmen gleichzeitig an. Das Internet-Draft draft-kelley-aipref-training-preference-signal-00, verfasst von Kevin Kelley (Anthropic) und am 30. Oktober 2026 veröffentlicht, definiert ein „Policy-Token“ namens __usage_ai-training. Die Website schreibt in robots.txt eine übliche Gruppe mit diesem Token als User-Agent, und teilnehmende Anbieter lesen daraus die Präferenz der Site, ob ihre Inhalte für generatives KI-Training verwendet werden dürfen. Alle vier Firmen haben die Unterstützung am selben Tag bestätigt (Bericht von heise).

Das Beispiel des Drafts optet die gesamte Website aus dem Training aus, bis auf ein Verzeichnis:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Der Mechanismus führt keine neue Syntax ein. Pfadregeln unter dem Token folgen RFC 9309 (robots.txt-Standard), inklusive Longest-Match-Vorrang; Parser, die den Token nicht kennen, ignorieren die Gruppe wie jede andere unbekannte User-Agent-Gruppe. Der Draft ist ein persönlicher Submit ohne formalen IETF-Status und läuft am 3. Mai 2027 ab, falls nichts geändert wird. Die Unterstützung ist verkündet, aber nicht live, und die Zeitpläne der Anbieter unterscheiden sich:

Meta taucht in den Danksagungen des Drafts auf und hat den Signal öffentlich begrüßt, eine Umsetzung aber nicht zugesagt (The Verge). Heute wirklich compliant sind vier Firmen. Behandeln Sie den Token als Präferenzerklärung, die vier Firmen versprechen zu lesen, nicht als Gesetz des Internets.

Training, Grounding und Crawling sind drei verschiedene Schalter

Der Token sagt, wie Inhalte verwendet werden dürfen, nicht ob Crawler holen dürfen. „This policy token is not a directive for crawling behavior“, Originalwortlaut des Drafts. Es gibt jetzt drei unabhängige Schalter: Crawl-Zugriff (unverändert, Regeln pro Crawler), Training (der neue gemeinsame Token) und Grounding (Inhalte, die in KI-Antworten eingespeist werden; bei Microsoft eine Seitenebenen-Kontrolle, bei Google Google-Extended).

Vier Grenzen im Draft sind wichtiger als die Syntax:

1. Wildcard-Gruppen zählen nicht. Im Wortlaut des Drafts: Wildcard-Gruppen (d. h. User-agent: *) dürfen nicht als Übereinstimmung mit dem Policy-Token interpretiert werden. Ein globales Disallow: / unter * blockt Crawler und drückt keine Trainingspräferenz aus.
2. Keine Gruppe heißt keine Präferenz. Fehlt der Token in der Datei, drückt die Datei „gar keine Präferenz aus“. Schweigen ist keine Ablehnung.
3. Private Abkommen können überschreiben. Der Draft erlaubt privaten Vereinbarungen, die Präferenzen dieses Mechanismus zu übersteuern.
4. Spezifisch schlägt generisch. Nutzer können proprietary Tokens wie Google-Extended oder GPTBot als spezifischere Anweisung behandeln als den gemeinsamen Token.

Google verkabelt den gemeinsamen Token mit dem Google-Extended-Schalter. Die Search-Central-Ankündigung: Opt-out über den Token ohne Google-Extended-Erwähnung wird Google als „Publisher hat Google-Extended verboten“ lesen (offiziell). Google-Extended steuert das Training der Gemini-Modelle und das Grounding in Gemini Apps und Vertex AI und „beeinflusst weder die Aufnahme einer Website in der Google-Suche noch dient es als Ranking-Signal“ (offizielle Doku). Dasselbe Dokument: Websites, die Google-Extended explizit erlauben, kommen für Antworten in Gemini Apps in Frage und erhalten Klicks. Beide Aussagen zusammengenommen, ist unsere Lesart (nicht die von Google): Ein pauschales Trainings-Opt-out im Leerlauf zieht die Website auch aus dem Grounding in Gemini Apps heraus. Wer diese Zitate will, erlaubt Google-Extended explizit.

Bing geht weiter und macht Grounding zu einer eigenständigen Einstellung auf Seitenebene, getragen von Meta-Tags oder X-Robots-Tag-Headern (offiziell):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

robots.txt hat keine Grounding-Präferenz für die gesamte Site; Grounding existiert nur auf Seitenebene. DisallowExtended hält Inhalte für Microsoft-eigene Erlebnisse wie Copilot, AI Mode und Microsoft 365 im Spiel, während sie Microsofts an Dritte verkaufte Grounding-Dienste (etwa Web IQ) verschlossen bleiben. Ohne Veröffentlichung gilt bei beiden Präferenzen Allow. Microsofts eigener Hinweis: Disallow oder DisallowExtended senkt die Sichtbarkeit in KI-generierten Erlebnissen deutlich, ändert aber beide Male nichts an der Eligibility in regulären Bing-Ergebnissen.

Der Pauschalblock ist der teuerste Fehler

„KI-Crawler“ als eine Kategorie zu blocken war schon immer eine Fehlklassifikation. Trainings-Crawler und Antwort-Crawler sind unterschiedliche User-Agents, und wer letztere blockt, löscht die Website aus den Antworten, die Käufer sehen. Die neuen Kontrollen machen den Unterschied unübersehbar.

Der Markt unterscheidet längst zwischen beiden Klassen, nur unsauber. Der Cloudflare-Radar-Schnappschuss vom 28. September 2026 über 4.242 robots.txt zeigt: Die großen Trainings-Crawler werden öfter verboten als erlaubt. Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (Cloudflare-Radar-Daten, aufbereitet von TechnologyChecker). Bei den Antwort-Crawlern ist es genau umgekehrt: OAI-SearchBot 0.91:1, bingbot 0.99:1. Ein unabhängiger Crawl von 5.467 robots.txt fand 19.9% der Websites, die mindestens einen Trainings-Crawler am Root blocken, aber nur 11.4%, die einen KI-Such-Crawler blocken; von 874 Websites, die GPTBot blocken, erlauben 454 weiterhin OAI-SearchBot (Citevisor, Oktober 2026). Wer die beiden Schalterklassen auseinanderhält, hält die Türen offen, die offen bleiben sollen.

Wer die Klassen nicht trennt, ist die Warnzahl. Das CapstonAI-Q1-2026-Kundenkohorten-Audit (Anbieter-Benchmark, Stichprobe aus dem eigenen Kundenstamm) findet 41% der B2B-Websites, die mindestens einen wichtigen AI-Bot blocken, meist Altlasten aus der „alles blocken“-Panik 2023/2024 (CapstonAI). Als diese Regeln geschrieben wurden, gab es nur den Crawl-Level-Hauptschalter. Ab dem 1. Februar 2027 sind die Schalter getrennt, und Websites, die weiter auf der falschen Ebene blocken, verschwinden geräuschlos aus Antworten, die sie nie verlassen wollten. Käufer starten heute in Antworten, und unsere vorige Notiz erklärt, warum die Nennung durch KI wichtiger ist als das Google-Ranking.

Was blockieren, was offenlassen

Entscheiden Sie nach Inhaltstyp, nicht nach Firma. Training ist eine Rechteentscheidung und lässt sich jetzt einmalig pro Pfad ausdrücken. Antwort-Crawler und nutzergetriggerte Fetcher sind Vertriebskanäle: Was zitiert werden soll, bekommt offene Türen.

Eine Zeile braucht eine Fußnote. Nutzergetriggerte Fetcher (ChatGPT-User, Claude-User, Perplexity-User) feuern, wenn jemand in einem Chat nach Ihnen fragt. Die OpenAI-Doku sagt, robots.txt kann für ChatGPT-User nicht gelten; Perplexity sagt, Perplexity-User ignoriert es in der Regel (Citevisor). Für diese Klasse ist robots.txt ein schwaches Werkzeug.

Was vor dem 1. Februar 2027 zu tun ist

Noch wird nichts durchgesetzt, und genau dafür sind die nächsten drei Monate da. Fixes greifen erst, wenn die Engines neu crawlen, und Microsoft erinnert daran: eine Einstellung veröffentlichen heißt nicht, sie aktivieren. Die Reihenfolge:

1. Lesen Sie heute Ihre robots.txt. Listen Sie jeden AI-Token auf und sortieren Sie nach Training, Antworten und nutzergetriggertem Fetch. Unser kostenloser Sofort-Check macht den ersten Durchlauf in Sekunden.
2. Räumen Sie überfällige Pauschalblocks ab. Alles, was 2023/2024 aus Sicherheitsgefühl eingebaut wurde, wird jetzt gegen die Tabelle oben neu entschieden.
3. Wer NoArchive oder NoCache ausgeliefert hat, handelt bis zum 1. März 2027: neue Präferenz veröffentlichen und die Übergangs-Grounding-Präferenz in den Bing Webmaster Tools dokumentieren; das Portal öffnet am 15. Dezember 2026. Wer das Datum verpasst, bekommt Allow-Grounding per Default, bis neu gecrawlt wird.
4. Wer Gemini-Apps-Zitate will, erlaubt Google-Extended explizit. Sobald der Token im Spiel ist, wird Schweigen als Verbot gelesen.
5. Bauen Sie die Token-Gruppe absichtsvoll pro Pfad, nach dem Vorbild des Draft-Beispiels.
6. Verifizieren und monatlich nachsehen. Der manuelle Weg braucht einen Nachmittag und kein Tool.

Das Fenster vor der Durchsetzung

Stand 4. November 2026 hat keine der vier Firmen den Token durchgesetzt, die Adaption liegt nahe null. joinmassive prüfte am 1. November 49 Nachrichtenseiten: null Token-Deployments; von den 33 ladbaren Startseiten trugen 10 weiterhin NoArchive- oder NoCache-Tags (joinmassive).

Was wir anbieten

Wir leben von Sichtbarkeitsdiagnosen, und Crawler-Rechte gehören zum Kern davon. Der kostenlose Sofort-Check von CiteGap liest Ihre robots.txt und meldet, welche AI-Crawler geblockt werden: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Ergebnis in Sekunden. Wer die komplette KI-Sicht auf sein Produkt will, bekommt mit der schriftlichen Diagnose 30 Käuferfragen und eine Fixliste.

Kostenlosen Sofort-Check ausführen

Häufig gestellte Fragen

Was ist der Token __usage_ai-training in robots.txt?

Ein gemeinsamer „Policy-Token“, definiert im IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Die Website schreibt in robots.txt eine übliche Gruppe unter User-Agent: __usage_ai-training; deren Disallow- und Allow-Regeln drücken pro Pfad aus, ob die Inhalte für generatives KI-Training verwendet werden dürfen. Google, Microsoft Bing, OpenAI und Anthropic haben am 30. Oktober 2026 angekündigt, ihn durchzusetzen, mit Startdaten ab Anfang 2027.

Was ist der ai-grounding-Token?

Bings KI-Grounding-Präferenz auf Seitenebene. Ein Meta-Tag wie <meta name="Bingbot" content="ai-grounding:disallow"> (oder ein X-Robots-Tag-Header) hält die Seite aus KI-generierten Antworten heraus; ai-grounding:disallowextended hält die Eligibility für Microsoft-eigene Erlebnisse wie Copilot, schließt aber Grounding-Dienste für Dritte aus. robots.txt kennt keine Site-weite Grounding-Präferenz; ohne Veröffentlichung gilt Allow.

Bringt User-agent: * Disallow: / meine Website aus dem KI-Training raus?

Nein. Der Draft schreibt: Wildcard-Gruppen dürfen nicht als Übereinstimmung mit dem Policy-Token interpretiert werden, und eine robots.txt ohne __usage_ai-training-Gruppe drückt überhaupt keine Präferenz aus. Der Pauschalblock regelt weiter nur das Crawling, und Crawling und Nutzung sind getrennte Schalter.

Schadet ein KI-Training-Opt-out meinem Google-Ranking?

Nein. Die Google-Crawler-Doku hält fest: Google-Extended beeinflusst weder die Aufnahme einer Website in der Google-Suche noch dient es als Ranking-Signal (offiziell), und über Google-Extended liest Google den gemeinsamen Token. Microsoft sagt dasselbe für die regulären Bing-Ergebnisse.

Sollte ich AI-Crawler in robots.txt blocken?

Trennen Sie die Schalter. Wirklich sensible Pfade blocken Sie beim Crawling wie bisher. Trainingspräferenzen drücken Sie über den gemeinsamen Token pro Pfad aus. Was zitiert werden soll, bekommt offene Türen bei den Antwort-Crawlern (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) und nutzergetriggerten Fetchern; wer sie blockt, löscht die Seiten aus den Antworten, die Käufer sehen.

Wann setzen die KI-Firmen den Token durch?

Microsoft Bing startet am 1. Februar 2027 (offiziell). Google zielt auf 2027, die Crawler-Doku sagt early 2027. OpenAI nennt „in den kommenden Monaten“ (offiziell). Anthropic setzt bereits um. Stand 4. November 2026 hat noch keine Firma durchgesetzt.

Quellen

• 3.83:10.91:1Block-to-Allow-Verhältnis: Trainings-Crawler Bytespider 3.83:1, Antwort-Crawler OAI-SearchBot 0.91:1 (Cloudflare Radar, Schnappschuss vom 28. September 2026, 4.242 robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): TechnologyChecker-Auswertung der Cloudflare-Radar-Daten
• 19.9%11.4%19.9% der Websites blocken am Root mindestens einen KI-Trainings-Crawler, 11.4% einen KI-Such-Crawler; von 874 Sites mit GPTBot-Block erlauben 454 OAI-SearchBot (unabhängiger Crawl, 5.467 robots.txt, Oktober 2026): Citevisor robots.txt-Studie 2026
• 41%41% der B2B-Websites blocken mindestens einen wichtigen AI-Bot (Q1-2026-Kohorten-Audit; Anbieter-Benchmark, eigener Kundenstamm): CapstonAI robots.txt-Leitfaden
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, „Machine-Readable Training Preference Signal“ (Kevin Kelley, Anthropic, 30. Oktober 2026; Token-Semantik, unabhängig vom Crawling, Wildcard- und Vorrangregeln): datatracker.ietf.org
• Kelleys Ankündigung auf der IETF-Working-Group-Mailingliste (Umsetzungsstand bei Anthropic; „drückt überhaupt keine Präferenz aus“): mailarchive.ietf.org
• Google Search Central Blog, „Supporting a shared AI training control for websites“ (John Mueller, 30. Oktober 2026; Google-Extended-Lesart, Gemini-Apps-Grounding-Eligibility, Ziel 2027): developers.google.com
• Google-Crawler-Doku zum Google-Extended-Token (kein Einfluss auf Suche und Ranking; Grounding-Scope; Hinweis early 2027): developers.google.com
• Microsoft Bing Blog, „Your content, your choice: clearer preferences for training and grounding“ (Krishna Madhavan, 30. Oktober 2026; Seitenebenen-Kontrollen ai-training / ai-grounding, DisallowExtended, Zeitplan 1. Februar / 1. März / 30. September 2027, NoArchive und NoCache in den Ruhestand): blogs.bing.com
• OpenAI, „Making it easier for websites to express AI training preferences“ (30. Oktober 2026; „in den kommenden Monaten“; bestehende Crawler-Kontrollen gelten weiter): openai.com
• The Verge zur Adaption der vier Firmen und zu Metas fehlender Zusage (30. Oktober 2026): theverge.com
• joinmassive, Deployment-Check auf 49 Nachrichtenseiten am 1. November 2026 (0 Token-Deployments; 10 von 33 ladbaren Startseiten weiterhin mit NoArchive/NoCache): joinmassive.com