I token di addestramento IA di robots.txt sono arrivati: cosa bloccare, cosa lasciare aperto

Il 30 ottobre 2026 Google, Microsoft Bing, OpenAI e Anthropic hanno annunciato che rispetteranno un unico token robots.txt condiviso per l'opt-out dall'addestramento IA, __usage_ai-training. Bing separa anche il grounding in un controllo dedicato a livello di pagina. La modifica penalizza il blocco totale, che secondo un audit di benchmark di un vendor riguarda il 41% dei siti B2B. Ecco cosa controlla ogni interruttore e cosa sistemare prima che l'applicazione parta il 1 febbraio 2027.

Cosa è cambiato il 30 ottobre

Una riga in robots.txt ora parla a quattro aziende IA contemporaneamente. La Internet-Draft draft-kelley-aipref-training-preference-signal-00, scritta da Kevin Kelley di Anthropic e pubblicata il 30 ottobre, definisce un «policy token», __usage_ai-training. Un sito scrive un normale gruppo robots.txt sotto quel token, e i provider partecipanti lo leggono come la preferenza del sito sull'uso dei propri contenuti per l'addestramento dell'IA generativa. Tutte e quattro le aziende lo hanno approvato lo stesso giorno.

L'esempio della bozza stessa esclude l'intero sito dall'addestramento tranne una cartella:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Il meccanismo non aggiunge nuova sintassi. Le regole di percorso sotto il token seguono la RFC 9309, lo standard robots.txt, inclusa la precedenza longest-match, e i parser che non conoscono il token ignorano il gruppo come qualsiasi user agent sconosciuto. La bozza è un invio individuale senza status formale IETF; scade il 3 maggio 2027 se non rivista. Il supporto è annunciato, non attivo, e ogni azienda ha indicato una data diversa:

Meta è citato nei ringraziamenti della bozza e ha accolto pubblicamente il segnale, ma non si è impegnato a rispettarlo (The Verge). Oggi le aziende che obbediscono davvero al token sono quattro. Trattatelo come una preferenza che quelle quattro hanno promesso di leggere, non come una legge del web.

Addestramento, grounding e crawling sono tre interruttori diversi

Il token dice come i contenuti possono essere usati, non se un crawler può scaricarli. «Questo policy token non è una direttiva per il comportamento di crawling», afferma la bozza. Ora sono in gioco tre interruttori separati: accesso di crawling (invariato, regole per crawler); uso per addestramento (il nuovo token condiviso); e uso per grounding, che alimenta le risposte IA (controlli a livello di pagina per Microsoft; Google-Extended per Google).

Quattro limiti della bozza contano più della sintassi:

1. Le regole wildcard non contano. «I gruppi wildcard (cioè User-agent: *) NON DEVONO essere interpretati come corrispondenti al policy token.» Un Disallow: / totale sotto * blocca i crawler ma non esprime alcuna preferenza di addestramento.
2. Nessun gruppo significa nessuna preferenza. Un file senza il token «non esprime alcuna preferenza». Il silenzio non è un no.
3. Gli accordi privati prevalgono. «Accordi privati POSSONO prevalere sulle preferenze espresse tramite questo meccanismo.»
4. Lo specifico batte il generale. Chi applica il token può trattare token proprietari come Google-Extended o GPTBot come più specifici di quello condiviso.

Google instrada il token condiviso all'interruttore Google-Extended. L'annuncio di Search Central dice che quando un sito fa opt-out con il token e non menziona Google-Extended, Google prevede di leggerlo «come se l'editore avesse disallowato Google-Extended» (ufficiale). Google-Extended governa l'addestramento dei modelli Gemini e il grounding in Gemini Apps e Vertex AI, e «non incide sull'inclusione di un sito in Google Search né è usato come segnale di ranking» (documenti ufficiali). Gli stessi documenti notano che i siti che consentono esplicitamente Google-Extended sono idonei a comparire nelle risposte di Gemini Apps e ricevono clic. Mettendo insieme le due dichiarazioni ufficiali, la nostra lettura, non una frase di Google, è questa: un opt-out totale dall'addestramento lasciato così tolge anche il sito dal grounding in Gemini Apps. Se vuoi quelle citazioni, consenti Google-Extended esplicitamente.

Bing è andato oltre e ha fatto del grounding un'impostazione a livello di pagina, veicolata da un meta tag o da un header X-Robots-Tag (ufficiale):

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

Non esiste una preferenza di grounding a livello di sito in robots.txt; il grounding è solo a livello di pagina. DisallowExtended mantiene i contenuti idonei per le esperienze operate da Microsoft come Copilot, AI Mode e Microsoft 365, trattenendoli dai servizi di grounding che Microsoft vende a terzi, come Web IQ. Entrambe le preferenze hanno valore predefinito Allow quando nulla è pubblicato. La cautela di Microsoft: scegliere Disallow o DisallowExtended ridurrà in modo significativo la tua visibilità nelle esperienze generate da IA, anche se nessuna delle due cambia l'idoneità nei normali risultati Bing.

Il blocco totale è l'errore costoso

Bloccare «i bot IA» come gruppo unico è sempre stato un errore di categoria. I crawler di addestramento e i crawler di risposta sono user agent diversi, e bloccare la seconda categoria rimuove un sito dalle risposte che gli acquirenti vedono. I nuovi controlli rendono la distinzione impossibile da evitare.

Il mercato già separa i due, in modo disomogeneo. Lo snapshot del 28 settembre 2026 di Cloudflare Radar su 4,242 file robots.txt mostra ogni grande crawler di addestramento più spesso disallowato che consentito: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (dati Cloudflare Radar via TechnologyChecker). I crawler di risposta invertono la tendenza: OAI-SearchBot 0.91:1, bingbot 0.99:1. Un crawl indipendente di 5,467 file robots.txt ha trovato il 19.9% dei siti che blocca almeno un crawler di addestramento alla radice contro l'11.4% che blocca un crawler di ricerca IA, e 454 degli 874 bloccatori di GPTBot consentono ancora OAI-SearchBot (Citevisor, ottobre 2026). Gli operatori che avevano capito la distinzione hanno tenuto aperta la porta giusta.

Chi non l'ha fatto è il numero da manuale del caso. L'audit di coorte Q1 2026 di CapstonAI (un benchmark di vendor, tratto dalla sua stessa base clienti) indica che il 41% dei siti B2B blocca almeno un grande bot IA, di solito un residuo del panico del 2023-2024 «bloccate tutto» (CapstonAI). Ognuno di quei blocchi fu scritto quando l'unico interruttore disponibile era l'interruttore kill a livello di crawling. Dal 1 febbraio 2027 gli interruttori si separano, e un sito che blocca ancora al livello sbagliato svanisce silenziosamente dalle risposte che non intendeva abbandonare. Conta perché le risposte sono dove gli acquirenti iniziano ora; la nostra nota precedente copre perché essere citati dall'IA batte il posizionamento su Google.

Cosa bloccare e cosa lasciare aperto

Decidi per tipo di contenuto, non per azienda. L'addestramento è una decisione sui diritti che ora puoi esprimere una volta sola, percorso per percorso. I crawler di risposta e i fetcher attivati dall'utente sono distribuzione: lasciali aperti per tutto ciò che vuoi citato.

Una riga merita una precisazione. I fetcher attivati dall'utente (ChatGPT-User, Claude-User, Perplexity-User) partono quando una persona chiede di te dentro una chat. OpenAI documenta che robots.txt potrebbe non applicarsi a ChatGPT-User, e Perplexity dice che Perplexity-User in genere lo ignora (Citevisor). Per quel gruppo, robots.txt è uno strumento debole.

Cosa fare prima del 1 febbraio 2027

Nulla è ancora applicato, ed è esattamente per questo che i prossimi tre mesi vanno usati. Le correzioni fanno effetto solo dopo che i motori ri-crawano il sito, e Microsoft avverte che pubblicare un'impostazione non equivale ad attivarla. La sequenza:

1. Leggi oggi il tuo robots.txt. Elenca ogni token IA presente e dividili in addestramento, risposta e fetch utente. Il nostro check istantaneo gratuito fa il primo passo in pochi secondi.
2. Ritira i blocchi totali obsoleti. Tutto ciò che fu aggiunto nel 2023-2024 «per sicurezza» merita una decisione fresca contro la tabella qui sopra.
3. Se pubblichi NoArchive o NoCache, agisci prima del 1 marzo 2027: pubblica le nuove preferenze e registra la preferenza di grounding temporanea in Bing Webmaster Tools, che apre il 15 dicembre 2026. Perdi la data e quelle pagine tornano ad Allow per il grounding fino al prossimo crawl.
4. Se vuoi citazioni da Gemini Apps, consenti esplicitamente Google-Extended. Una volta adottato il token, il silenzio vale disallow.
5. Aggiungi il gruppo del token con intenzione, percorso per percorso, usando l'esempio della bozza come schema.
6. Verifica e ricontrolla ogni mese. Il metodo manuale richiede un pomeriggio e nessuno strumento.

La finestra prima dell'applicazione

Al 4 novembre 2026 nessuna delle quattro aziende rispetta ancora il token, e l'adozione è quasi zero. joinmassive ha controllato 49 siti di notizie il 1 novembre e ha trovato zero deployment del token; 10 delle 33 home page caricabili portano ancora tag NoArchive o NoCache (joinmassive).

Dove entriamo noi

Costruiamo diagnostiche di visibilità per lavoro, e l'accesso dei crawler è al loro centro. Il check istantaneo gratuito di CiteGap legge il tuo robots.txt e riporta quali crawler IA sono bloccati: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended. Prende pochi secondi. Per il quadro completo di cosa dice l'IA del tuo prodotto, la diagnosi scritta esegue 30 domande da acquirente e ti consegna una lista di fix.

Esegui il check istantaneo gratuito

Domande frequenti

Cos'è il token __usage_ai-training in robots.txt?

Un «policy token» condiviso definito nella Internet-Draft IETF draft-kelley-aipref-training-preference-signal-00. Un sito scrive un normale gruppo robots.txt sotto User-Agent: __usage_ai-training, e le regole Disallow e Allow sotto di esso esprimono la preferenza del sito sull'uso di ogni percorso per l'addestramento dell'IA generativa. Google, Microsoft Bing, OpenAI e Anthropic hanno annunciato il 30 ottobre 2026 che lo rispetteranno, con date di inizio dall'inizio 2027 in poi a seconda dell'azienda.

Cos'è il token ai-grounding?

La preferenza AI Grounding di Microsoft a livello di pagina. Impostala con <meta name="Bingbot" content="ai-grounding:disallow"> (o l'header X-Robots-Tag) per tenere una pagina fuori dalle risposte generate da IA, oppure ai-grounding:disallowextended per consentire le esperienze operate da Microsoft come Copilot trattenendo i servizi di grounding di terze parti. Non esiste una preferenza di grounding a livello di sito in robots.txt, e il grounding torna ad Allow quando nulla è pubblicato.

User-agent: * Disallow: / esclude il mio sito dall'addestramento IA?

No. La bozza dice che i gruppi wildcard NON DEVONO essere interpretati come corrispondenti al policy token, e un file robots.txt senza gruppo __usage_ai-training non esprime alcuna preferenza. Il blocco totale continua a governare il crawling, che è un interruttore separato dall'uso.

Un opt-out dall'addestramento IA danneggia il mio posizionamento su Google Search?

No. La documentazione dei crawler di Google afferma che Google-Extended non incide sull'inclusione di un sito in Google Search né è usato lì come segnale di ranking (ufficiale), e il token condiviso viene letto tramite il controllo Google-Extended. Anche Microsoft dice che le sue nuove preferenze non cambiano l'idoneità nei normali risultati di ricerca Bing.

Devo bloccare i crawler IA in robots.txt?

Separa gli interruttori. Blocca il crawling dei percorsi davvero sensibili come hai sempre fatto. Esprimi la tua preferenza di addestramento con il token condiviso, percorso per percorso. Lascia aperti i crawler di risposta (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) e i fetcher attivati dall'utente per tutto ciò che vuoi citato, perché bloccarli rimuove le tue pagine dalle risposte degli acquirenti.

Quando le aziende IA iniziano a rispettare il token?

Microsoft Bing parte il 1 febbraio 2027 (ufficiale). Google punta al 2027, la sua documentazione dei crawler dice inizio 2027. OpenAI dice «nei prossimi mesi» (ufficiale). Anthropic ha iniziato a implementare. Al 4 novembre 2026 nessuna azienda rispetta ancora il token.

Fonti

• 3.83:10.91:1Rapporti blocco-consenso, crawler di addestramento Bytespider 3.83:1 contro crawler di risposta OAI-SearchBot 0.91:1 (Cloudflare Radar, snapshot del 28 settembre 2026, 4,242 file robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): analisi TechnologyChecker dei dati Cloudflare Radar
• 19.9%11.4%Il 19.9% dei siti blocca almeno un crawler di addestramento IA alla radice contro l'11.4% che blocca un crawler di ricerca IA; 454 degli 874 bloccatori di GPTBot consentono OAI-SearchBot (crawl indipendente, 5,467 file robots.txt, ottobre 2026): studio robots.txt 2026 di Citevisor
• 41%Il 41% dei siti B2B blocca almeno un grande bot IA (audit di coorte Q1 2026; benchmark di vendor, base clienti di CapstonAI): guida robots.txt di CapstonAI
• IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, «Machine-Readable Training Preference Signal» (Kevin Kelley, Anthropic, 30 ottobre 2026; semantica del token, indipendenza dal crawling, regole wildcard e di precedenza): datatracker.ietf.org
• Post di annuncio di Kelley alla lista del gruppo di lavoro IETF (stato di implementazione di Anthropic; «non esprime alcuna preferenza»): mailarchive.ietf.org
• Google Search Central Blog, «Supporting a shared AI training control for websites» (John Mueller, 30 ottobre 2026; interpretazione Google-Extended, idoneità grounding Gemini Apps, obiettivo 2027): developers.google.com
• Documentazione crawler Google, token Google-Extended (nessun effetto su inclusione o ranking in Search; ambito grounding; nota di supporto inizio 2027): developers.google.com
• Microsoft Bing Blog, «Your content, your choice: clearer preferences for training and grounding» (Krishna Madhavan, 30 ottobre 2026; controlli a livello di pagina ai-training / ai-grounding, DisallowExtended, calendario 1 feb / 1 mar / 30 set 2027, ritiro di NoArchive e NoCache): blogs.bing.com
• OpenAI, «Making it easier for websites to express AI training preferences» (30 ottobre 2026; «nei prossimi mesi»; i controlli crawler esistenti continuano): openai.com
• The Verge, copertura dell'adozione delle quattro aziende e della non-conferma di Meta (30 ottobre 2026): theverge.com
• joinmassive, verifica di deployment su 49 siti di notizie il 1 novembre 2026 (0 token deployati; 10 delle 33 home page caricabili portano ancora NoArchive/NoCache): joinmassive.com