Tokeny treningu AI w robots.txt nadeszły: co blokować, a co zostawić otwarte

30 października 2026 Google, Microsoft Bing, OpenAI i Anthropic oświadczyły, że będą honorować jeden współdzielony token robots.txt dla opt-outów z treningu AI, __usage_ai-training. Bing wydziela też grounding jako osobną kontrolę na poziomie strony. Zmiana karze blokadę totalną, którą audyt benchmarku vendoru umieszcza na 41% stron B2B. Oto, co kontroluje każdy przełącznik i co naprawić, zanim egzekwowanie ruszy 1 lutego 2027.

Co zmieniło się 30 października

Jedna linia w robots.txt mówi teraz do czterech firm AI jednocześnie. Internet-Draft draft-kelley-aipref-training-preference-signal-00, napisany przez Kevina Kelleya z Anthropic i opublikowany 30 października, definiuje „token polityki”, __usage_ai-training. Strona zapisuje zwykłą grupę robots.txt pod tym tokenem, a uczestniczący dostawcy czytają ją jako preferencję strony dotyczącą wykorzystania jej treści do treningu AI generatywnego. Wszystkie cztery firmy poparły go tego samego dnia.

Przykład samego projektu wyłącza całą stronę z treningu z wyjątkiem jednego katalogu:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Mechanizm nie dodaje nowej składni. Reguły ścieżek pod tokenem podlegają RFC 9309, standardowi robots.txt, włącznie z pierwszeństwem longest-match, a parsery nieznające tokena ignorują grupę jak każdego nieznanego user agenta. Projekt to indywidualny wkład bez formalnego statusu IETF; wygasa 3 maja 2027, jeśli nie zostanie zrewidowany. Wsparcie jest ogłoszone, nie aktywne, i każda firma podała inną datę:

Meta jest wymieniona w podziękowaniach projektu i publicznie powitała sygnał, ale nie zobowiązała się go honorować (The Verge). Firm, które naprawdę wykonują token, jest dziś cztery. Traktuj to jak preferencję, którą te cztery obiecały czytać, nie jak prawo sieci.

Trening, grounding i crawlowanie to trzy różne przełączniki

Token mówi, jak treści mogą być używane, nie czy crawler może je pobrać. „Ten token polityki nie jest dyrektywą dotyczącą zachowania crawlowania”, stwierdza projekt. Teraz w grę wchodzą trzy oddzielne przełączniki: dostęp crawl (bez zmian, reguły per crawler); użycie treningowe (nowy współdzielony token); i użycie groundingowe, które zasila odpowiedzi AI (kontrole na poziomie strony u Microsoftu; Google-Extended u Google).

Cztery ograniczenia projektu ważą więcej niż składnia:

1. Reguły wildcard się nie liczą. „Grupy wildcard (tj. User-agent: *) NIE WOLNO interpretować jako pasujących do tokena polityki.” Totalny Disallow: / pod * blokuje crawlery, ale nie wyraża żadnej preferencji treningowej.
2. Brak grupy znaczy brak preferencji. Plik bez tokena „nie wyraża żadnej preferencji”. Milczenie nie jest odmową.
3. Umowy prywatne mają pierwszeństwo. „Umowy prywatne MOGĄ mieć pierwszeństwo przed preferencjami wyrażonymi tym mechanizmem.”
4. Specyficzne bije ogólne. Konsumenci mogą traktować tokeny własnościowe jak Google-Extended czy GPTBot jako bardziej specyficzne niż współdzielony.

Google kieruje współdzielony token do przełącznika Google-Extended. Ogłoszenie Search Central mówi, że gdy strona robi opt-out tokenem i nie wspomina Google-Extended, Google planuje czytać to „tak, jakby wydawca zablokował Google-Extended” (oficjalnie). Google-Extended rządzi treningiem modeli Gemini i groundingiem w Gemini Apps i Vertex AI, i „nie wpływa na ujęcie strony w Google Search ani nie jest tam używany jako sygnał rankingowy” (dokumentacja oficjalna). Te same dokumenty zauważają, że strony, które wprost pozwalają Google-Extended, mogą pojawiać się w odpowiedziach Gemini Apps i otrzymywać kliknięcia. Złożenie tych dwóch oficjalnych stwierdzeń daje nasz odczyt, nie zdanie Google: totalny opt-out z treningu pozostawiony bez zmian wycofuje też stronę z groundingu w Gemini Apps. Jeśli chcesz tych cytatów, zezwól Google-Extended wprost.

Bing poszedł dalej i uczynił grounding własnym ustawieniem na poziomie strony, niesionym przez meta tag lub nagłówek X-Robots-Tag (oficjalnie):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Nie istnieje preferencja groundingu dla całej strony w robots.txt; grounding jest tylko na poziomie strony. DisallowExtended utrzymuje treści kwalifikujące się do doświadczeń operowanych przez Microsoft, jak Copilot, AI Mode i Microsoft 365, wstrzymując je przed usługami groundingowymi, które Microsoft sprzedaje osobom trzecim, jak Web IQ. Obie preferencje mają domyślnie Allow, gdy nic nie jest opublikowane. Ostrzeżenie samego Microsoftu: wybranie Disallow lub DisallowExtended znacząco zmniejszy twoją widoczność w doświadczeniach generowanych przez AI, choć żadna z nich nie zmienia kwalifikacji w zwykłych wynikach Bing.

Blokada totalna to kosztowny błąd

Blokowanie „botów AI” jako jednej grupy zawsze było błędem kategorii. Crawlery treningowe i crawlery odpowiedzi to różni user agenci, a zablokowanie drugiego rodzaju usuwa stronę z odpowiedzi, które widzą kupujący. Nowe kontrole czynią to rozróżnienie nie do uniknięcia.

Rynek już rozdziela te dwa, nierównomiernie. Migawka Cloudflare Radar z 28 września 2026 na 4,242 plików robots.txt pokazuje, że każdy duży crawler treningowy jest częściej blokowany niż dozwolony: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (dane Cloudflare Radar za pośrednictwem TechnologyChecker). Crawlery odpowiedzi odwracają trend: OAI-SearchBot 0.91:1, bingbot 0.99:1. Niezależny crawl 5,467 plików robots.txt znalazł 19.9% stron blokujących co najmniej jeden crawler treningowy w root kontra 11.4% blokujących crawler wyszukiwania AI, a 454 z 874 blokujących GPTBot nadal pozwala OAI-SearchBot (Citevisor, październik 2026). Operatorzy, którzy zrozumieli ten podział, utrzymali otwarte właściwe drzwi.

Ci, którzy tego nie zrobili, są przestrojowym numerem. Audyt kohortowy Q1 2026 CapstonAI (benchmark vendoru, zaczerpnięty z jego własnej bazy klientów) podaje, że 41% stron B2B blokuje co najmniej jednego dużego bota AI, zwykle pozostałość po panice „blokuj wszystko” z lat 2023-2024 (CapstonAI). Każda z tych blokad została zapisana, gdy jedynym dostępnym przełącznikiem był wyłącznik crawlowania na poziomie crawl. Od 1 lutego 2027 przełączniki się rozdzielają, a strona, która nadal blokuje na złej warstwie, cicho znika z odpowiedzi, których opuścić nie zamierzała. To się liczy, bo odpowiedzi to miejsce, gdzie kupujący zaczynają; nasza wcześniejsza notka omawia dlaczego bycie nazwanym przez AI bije pozycjonowanie w Google.

Co blokować, a co zostawić otwarte

Decyduj per typ treści, nie per firma. Trening to decyzja o prawach, którą możesz teraz wyrazić raz, ścieżka po ścieżce. Crawlery odpowiedzi i fetchery wyzwalane przez użytkownika to dystrybucja: zostaw je otwarte dla wszystkiego, co chcesz mieć cytowane.

Jeden wiersz zasługuje na zastrzeżenie. Fetchery wyzwalane przez użytkownika (ChatGPT-User, Claude-User, Perplexity-User) odpalają, gdy osoba pyta o ciebie w czacie. OpenAI dokumentuje, że robots.txt może nie obowiązywać dla ChatGPT-User, a Perplexity mówi, że Perplexity-User zwykle go ignoruje (Citevisor). Dla tej grupy robots.txt jest słabym narzędziem.

Co zrobić przed 1 lutego 2027

Jeszcze nic nie jest egzekwowane i właśnie dlatego następne trzy miesiące warto wykorzystać. Poprawki działają dopiero po ponownym crawlowaniu strony przez silniki, a Microsoft ostrzega, że publikacja ustawienia to nie to samo co jego aktywacja. Sekwencja:

1. Przeczytaj dziś swój robots.txt. Wypisz każdy token AI i posegreguj je na trening, odpowiedzi i fetch użytkownika. Nasz darmowy instant check robi pierwszy przebieg w kilka sekund.
2. Wycofaj przestarzałe blokady totalne. Wszystko dodane w latach 2023-2024 „dla bezpieczeństwa” zasługuje na świeżą decyzję wobec tabeli wyżej.
3. Jeśli publikujesz NoArchive lub NoCache, działaj przed 1 marca 2027: opublikuj nowe preferencje i zapisz tymczasową preferencję groundingową w Bing Webmaster Tools, które otwiera się 15 grudnia 2026. Przepuść datę i te strony wracają do Allow dla groundingu do następnego crawla.
4. Jeśli chcesz cytatów z Gemini Apps, zezwól wprost Google-Extended. Gdy przyjmiesz token, milczenie czyta się jako disallow.
5. Dodaj grupę tokena świadomie, ścieżka po ścieżce, używając przykładu projektu jako wzorca.
6. Weryfikuj i sprawdzaj co miesiąc. Metoda ręczna zajmuje popołudnie i nie wymaga narzędzi.

Okno przed egzekwowaniem

Na 4 listopada 2026 żadna z czterech firm jeszcze nie honoruje tokena, a adopcja jest bliska zeru. joinmassive sprawdził 1 listopada 49 stron newsowych i znalazł zero wdrożeń tokena; 10 z 33 ładowalnych stron głównych nadal niesie tagi NoArchive lub NoCache (joinmassive).

Gdzie my się wstawiamy

Budujemy diagnostykę widoczności zawodowo, a dostęp crawlerów siedzi w jej rdzeniu. Darmowa instant check CiteGap czyta twój robots.txt i raportuje, które crawlery AI są blokowane: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i Google-Extended. Zajmuje sekundy. Dla pełnego obrazu tego, co AI mówi o twoim produkcie, pisemna diagnoza wykonuje 30 pytań kupujących i wręcza ci listę poprawek.

Uruchom darmową instant check

Często zadawane pytania

Czym jest token __usage_ai-training w robots.txt?

Współdzielony „token polityki” zdefiniowany w IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00. Strona zapisuje zwykłą grupę robots.txt pod User-Agent: __usage_ai-training, a reguły Disallow i Allow pod nim wyrażają preferencję strony dotyczącą użycia każdej ścieżki do treningu AI generatywnego. Google, Microsoft Bing, OpenAI i Anthropic ogłosiły 30 października 2026, że będą go honorować, z datami startu od początku 2027 wzwyż zależnie od firmy.

Czym jest token ai-grounding?

Preferencja AI Grounding Microsoftu na poziomie strony. Ustaw ją przez <meta name="Bingbot" content="ai-grounding:disallow"> (lub nagłówek X-Robots-Tag), żeby trzymać stronę poza odpowiedziami generowanymi przez AI, albo ai-grounding:disallowextended, żeby pozwolić doświadczenia operowane przez Microsoft jak Copilot, wstrzymując usługi groundingowe osób trzecich. Nie istnieje preferencja groundingu dla całej strony w robots.txt, a grounding wraca do Allow, gdy nic nie jest opublikowane.

Czy User-agent: * Disallow: / wyłącza moją stronę z treningu AI?

Nie. Projekt mówi, że grup wildcard NIE WOLNO interpretować jako pasujących do tokena polityki, a plik robots.txt bez grupy __usage_ai-training nie wyraża żadnej preferencji. Blokada totalna nadal rządzi crawlowaniem, które jest oddzielnym przełącznikiem od użycia.

Czy opt-out z treningu AI zaszkodzi moim pozycjom w Google Search?

Nie. Dokumentacja crawlerów Google stwierdza, że Google-Extended nie wpływa na ujęcie strony w Google Search i nie jest tam używany jako sygnał rankingowy (oficjalnie), a współdzielony token jest czytany przez kontrolę Google-Extended. Microsoft podobnie mówi, że nowe preferencje nie zmieniają kwalifikacji w zwykłych wynikach wyszukiwania Bing.

Czy blokować crawlery AI w robots.txt?

Rozdziel przełączniki. Blokuj crawlowanie naprawdę wrażliwych ścieżek, jak zawsze. Wyraź preferencję treningową współdzielonym tokenem, ścieżka po ścieżce. Zostaw otwarte crawlery odpowiedzi (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) i fetchery wyzwalane przez użytkownika dla wszystkiego, co chcesz mieć cytowane, bo ich zablokowanie usuwa twoje strony z odpowiedzi, które widzą kupujący.

Kiedy firmy AI zaczną honorować token?

Microsoft Bing startuje 1 lutego 2027 (oficjalnie). Google celuje w 2027, jego dokumentacja crawlerów mówi początek 2027. OpenAI mówi „w nadchodzących miesiącach” (oficjalnie). Anthropic zaczął implementować. Na 4 listopada 2026 żadna firma jeszcze nie honoruje tokena.

Źródła

• 3.83:10.91:1Współczynniki blokuj-dozwól, crawler treningowy Bytespider 3.83:1 kontra crawler odpowiedzi OAI-SearchBot 0.91:1 (Cloudflare Radar, migawka z 28 września 2026, 4,242 plików robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): analiza TechnologyChecker danych Cloudflare Radar
• 19.9%11.4%19.9% stron blokuje co najmniej jeden crawler treningowy AI w root kontra 11.4% blokujących crawler wyszukiwania AI; 454 z 874 blokujących GPTBot pozwala OAI-SearchBot (niezależny crawl, 5,467 plików robots.txt, październik 2026): badanie robots.txt 2026 Citevisor
• 41%41% stron B2B blokuje co najmniej jednego dużego bota AI (audyt kohortowy Q1 2026; benchmark vendoru, własna baza klientów CapstonAI): przewodnik robots.txt CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, „Machine-Readable Training Preference Signal” (Kevin Kelley, Anthropic, 30 października 2026; semantyka tokena, niezależność od crawl, reguły wildcard i pierwszeństwa): datatracker.ietf.org
• Post ogłoszeniowy Kelleya na liście grupy roboczej IETF (status implementacji Anthropic; „nie wyraża żadnej preferencji”): mailarchive.ietf.org
• Google Search Central Blog, „Supporting a shared AI training control for websites” (John Mueller, 30 października 2026; interpretacja Google-Extended, kwalifikacja groundingu Gemini Apps, cel 2027): developers.google.com
• Dokumentacja crawlerów Google, token Google-Extended (brak wpływu na ujęcie czy ranking w Search; zakres groundingu; nota wsparcia początek 2027): developers.google.com
• Microsoft Bing Blog, „Your content, your choice: clearer preferences for training and grounding” (Krishna Madhavan, 30 października 2026; kontrole na poziomie strony ai-training / ai-grounding, DisallowExtended, oś czasu 1 lut / 1 mar / 30 wrz 2027, wycofanie NoArchive i NoCache): blogs.bing.com
• OpenAI, „Making it easier for websites to express AI training preferences” (30 października 2026; „nadchodzące miesiące”; istniejące kontrole crawlerów trwają): openai.com
• The Verge, relacja o adopcji przez cztery firmy i braku zobowiązania Meta (30 października 2026): theverge.com
• joinmassive, sprawdzenie wdrożeń na 49 stronach newsowych 1 listopada 2026 (0 wdrożonych tokenów; 10 z 33 ładowalnych stron głównych nadal niesie NoArchive/NoCache): joinmassive.com