El 30 de octubre de 2026, Google, Microsoft Bing, OpenAI y Anthropic anunciaron cada uno que respetarán un token compartido de robots.txt para los opt-outs de entrenamiento de IA, __usage_ai-training. Bing separa además el grounding en un control dedicado a nivel de página. El cambio castiga el bloqueo global, que la auditoría de un benchmark de proveedor sitúa en el 41% de los sitios B2B. Esto es lo que controla cada interruptor y qué corregir antes de que empiece la aplicación, el 1 de febrero de 2027.
Lo que cambió el 30 de octubre
Una línea en robots.txt ahora se dirige a cuatro empresas de IA a la vez. El Internet-Draft draft-kelley-aipref-training-preference-signal-00, escrito por Kevin Kelley de Anthropic y publicado el 30 de octubre, define un «token de política», __usage_ai-training. Un sitio escribe un grupo ordinario de robots.txt bajo ese token, y los proveedores participantes lo leen como la preferencia del sitio sobre el uso de su contenido para entrenar IA generativa. Las cuatro empresas lo respaldaron ese mismo día.
El ejemplo del propio borrador retira todo el sitio del entrenamiento, salvo un directorio:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/El mecanismo no añade sintaxis nueva. Las reglas de ruta bajo el token siguen la RFC 9309, el estándar de robots.txt, incluida la prioridad al prefijo más largo, y los parsers que ignoran el token tratan el grupo como cualquier user agent desconocido. El borrador es una sumisión individual sin estatus formal en la IETF; expira el 3 de mayo de 2027 salvo revisión. El respaldo está anunciado, no en vigor, y cada empresa dio una fecha distinta:
| Proveedor | Lo que anunció | Entrada en vigor |
|---|---|---|
| Microsoft Bing | Token compartido para entrenamiento, más nuevos controles de página ai-training y ai-grounding. NoArchive y NoCache se retiran. |
1 de febrero de 2027; las etiquetas antiguas dejan de contar el 1 de marzo de 2027 (oficial) |
| Token compartido. Sin mención distinta de Google-Extended, un opt-out por token se lee como un rechazo de Google-Extended. | Objetivo 2027; la documentación de crawlers dice principios de 2027 (oficial) | |
| OpenAI | Señal compartida. Los controles existentes GPTBot y OAI-SearchBot siguen en vigor. | «En los próximos meses» (oficial) |
| Anthropic | Autor del borrador. La implementación ya comenzó en sus servicios. | En curso (oficial) |
Meta aparece en los agradecimientos del borrador y aplaudió públicamente la señal, sin comprometerse a respetarla (The Verge). La lista de empresas que obedecen de verdad el token tiene cuatro nombres hoy. Trátalo como una preferencia que esas cuatro se comprometieron a leer, no como una ley de la web.
Entrenamiento, grounding y crawling son tres interruptores distintos
El token dice cómo puede usarse el contenido, no si un crawler puede recuperarlo. «This policy token is not a directive for crawling behavior», precisa el borrador. Tres interruptores distintos están ahora en juego: el acceso de rastreo (sin cambios, reglas por crawler); el uso de entrenamiento (el nuevo token compartido); y el uso de grounding, que alimenta las respuestas de IA (controles a nivel de página en Microsoft; Google-Extended en Google).
Cuatro límites del borrador importan más que la sintaxis:
- Las reglas wildcard no cuentan. «Los grupos wildcard (es decir, User-agent: *) NO DEBEN interpretarse como coincidencias con el token de política». Un
Disallow: /global bajo*bloquea los crawlers pero no expresa ninguna preferencia de entrenamiento. - Sin grupo, sin preferencia. Un archivo sin el token «no expresa preferencia alguna». El silencio no es un no.
- Los acuerdos privados prevalecen. «Los acuerdos privados PUEDEN reemplazar las preferencias expresadas vía este mecanismo».
- Lo específico gana a lo general. Los consumidores pueden tratar tokens propietarios como Google-Extended o GPTBot como más específicos que el token compartido.
Google conecta el token compartido con el interruptor Google-Extended. Su anuncio de Search Central indica que un sitio que se excluye vía el token sin mencionar Google-Extended se leerá «como si el editor hubiera prohibido Google-Extended» (oficial). Google-Extended rige el entrenamiento de los modelos Gemini y el grounding en Gemini Apps y Vertex AI, y «no afecta a la inclusión de un sitio en la Búsqueda de Google ni a su clasificación» (doc oficial). El mismo documento señala que los sitios que permiten explícitamente Google-Extended pueden aparecer en las respuestas de Gemini Apps y recibir clics desde ahí. Esas dos declaraciones oficiales, lado a lado, dan nuestra lectura, que es nuestra y no una frase de Google: un opt-out de entrenamiento global dejado solo también retira el sitio del grounding de Gemini Apps. Si quieres esas citas, permite explícitamente Google-Extended.
Bing fue más lejos e hizo del grounding un ajuste de página por derecho propio, llevado por una etiqueta meta o una cabecera X-Robots-Tag (oficial):
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">No existe una preferencia de grounding robots.txt para todo el sitio; el grounding solo existe a nivel de página. DisallowExtended mantiene el contenido elegible para las experiencias operadas por Microsoft como Copilot, AI Mode y Microsoft 365 mientras lo deniega a los servicios de grounding que Microsoft revende a terceros, como Web IQ. Sin publicación, ambas preferencias valen Allow. La propia advertencia de Microsoft: elegir Disallow o DisallowExtended reducirá notablemente tu visibilidad en las experiencias generadas por IA, pero en ningún caso cambia tu elegibilidad en los resultados ordinarios de Bing.
El bloqueo global es el error caro
Bloquear «los bots de IA» en bloque siempre fue un error de categoría. Los crawlers de entrenamiento y los crawlers de respuesta son user agents distintos, y bloquear la segunda clase retira un sitio de las respuestas que ven los compradores. Los nuevos controles hacen la distinción imposible de esquivar.
El mercado ya separa los dos, de forma desigual. La instantánea de Cloudflare Radar del 28 de septiembre de 2026 sobre 4.242 archivos robots.txt muestra que cada gran crawler de entrenamiento es desautorizado más de lo que es autorizado: Bytespider 3.83:1, CCBot 2.61:1, GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1 (datos de Cloudflare Radar vía TechnologyChecker). Los crawlers de respuesta invierten la tendencia: OAI-SearchBot 0.91:1, bingbot 0.99:1. Un rastreo independiente de 5.467 archivos robots.txt encontró que el 19.9% de los sitios bloquea al menos un crawler de entrenamiento en la raíz frente al 11.4% que bloquea un crawler de búsqueda de IA, y que 454 de los 874 bloqueadores de GPTBot aún permiten OAI-SearchBot (Citevisor, octubre de 2026). Los operadores que entendieron la separación dejaron abierta la puerta correcta.
Los que no la entendieron son la cifra preventiva. La auditoría de cohorte del Q1 2026 de CapstonAI (un benchmark de proveedor, extraído de su propia clientela) sitúa en un 41% de los sitios B2B que bloquean al menos un gran bot de IA, normalmente un residuo del pánico de 2023-2024 de «bloquear todo» (CapstonAI). Cada uno de esos bloques se escribió cuando el único interruptor disponible era el kill switch a nivel de rastreo. Desde el 1 de febrero de 2027 los interruptores se separan, y un sitio que sigue bloqueando en la capa equivocada desaparece en silencio de respuestas de las que nunca quiso salir. Importa porque las respuestas son donde los compradores empiezan ahora; nuestra nota anterior cubre por qué ser nombrado por la IA le gana al posicionamiento en Google.
Qué bloquear y qué dejar abierto
Decide por tipo de contenido, no por empresa. El entrenamiento es una decisión de derechos que ahora puedes expresar una vez, ruta por ruta. Los crawlers de respuesta y los fetchers activados por el usuario son distribución: déjalos abiertos para todo lo que quieras ver citado.
| Contenido | Entrenamiento (el nuevo token) | Crawlers de respuesta y fetchers de usuario |
|---|---|---|
| Páginas públicas que quieres ver citadas | Expresa tu preferencia con __usage_ai-training, ruta por ruta. |
Déjalo abierto. Bloquearlos te retira de las respuestas que ven los compradores. |
| Contenido de pago, con licencia o premium | Disallow, mediante el grupo del token o reglas por bot. | Decides tú. El grounding es el ajuste ai-grounding de Bing, a nivel de página. |
| Páginas que quieres que se usen (press kit, datos abiertos) | Allow. Es el propio ejemplo del borrador. | Déjalo abierto. |
| Staging, administración, rutas internas | Bloquea el rastreo con tokens de producto o *, como hoy. |
Igual. El token gestiona el uso, no el acceso. |
Una fila merece una advertencia. Los fetchers activados por usuario (ChatGPT-User, Claude-User, Perplexity-User) se disparan cuando una persona te consulta dentro de un chat. OpenAI documenta que robots.txt quizá no se aplica a ChatGPT-User, y Perplexity dice que Perplexity-User generalmente lo ignora (Citevisor). Para ese grupo, robots.txt es un instrumento débil.
Qué hacer antes del 1 de febrero de 2027
Nada está aplicado todavía, y precisamente por eso valen la pena los próximos tres meses. Las correcciones solo surten efecto después de que los motores re-rastreen el sitio, y Microsoft advierte que publicar un ajuste no es lo mismo que activarlo. La secuencia:
- Lee tu robots.txt hoy. Enumera cada token de IA que contenga y clasifícalos en entrenamiento, respuesta y fetch de usuario. Nuestra verificación instantánea gratuita hace la primera pasada en segundos.
- Retira los bloqueos globales caducados. Todo lo añadido en 2023-2024 «por si acaso» merece una decisión nueva frente a la tabla anterior.
- Si publicas NoArchive o NoCache, actúa antes del 1 de marzo de 2027: publica las nuevas preferencias y registra la preferencia temporal de grounding en Bing Webmaster Tools, que abre el 15 de diciembre de 2026. Pierde la fecha y esas páginas pasan por defecto a Allow para grounding hasta el re-rastreo.
- Si quieres citas en Gemini Apps, permite Google-Extended explícitamente. Una vez adoptes el token, el silencio se lee como denegación.
- Añade el grupo del token deliberadamente, ruta por ruta, usando el ejemplo del borrador como patrón.
- Verifica y re-verifica cada mes. El método manual toma una tarde y ninguna herramienta.
La ventana antes de la aplicación
A 4 de noviembre de 2026, ninguna de las cuatro empresas aplica aún el token, y la adopción ronda cero. joinmassive revisó 49 sitios de noticias el 1 de noviembre y encontró cero despliegues del token; 10 de las 33 portadas que pudo cargar aún llevan etiquetas NoArchive o NoCache (joinmassive).
Dónde encajamos
Vivimos de construir diagnósticos de visibilidad, y el acceso de los crawlers es su núcleo. La verificación instantánea gratuita de CiteGap lee tu robots.txt y reporta qué crawlers de IA están bloqueados: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Google-Extended. Toma segundos. Para el cuadro completo de lo que la IA dice de tu producto, el diagnóstico escrito plantea 30 preguntas de comprador y te entrega una lista de correcciones.
Ejecutar la verificación instantánea gratuita
Preguntas frecuentes
¿Qué es el token __usage_ai-training en robots.txt?
Un «token de política» compartido, definido en el Internet-Draft de la IETF draft-kelley-aipref-training-preference-signal-00. El sitio escribe en robots.txt un grupo estándar bajo User-agent: __usage_ai-training; sus reglas Disallow y Allow expresan, ruta por ruta, si el contenido puede usarse para entrenar IA generativa. Google, Microsoft Bing, OpenAI y Anthropic anunciaron el 30 de octubre de 2026 que lo aplicarán, con inicios a partir de principios de 2027.
¿Qué es el token ai-grounding?
La preferencia de grounding de IA de Bing, a nivel de página. Una etiqueta meta como <meta name="Bingbot" content="ai-grounding:disallow"> (o una cabecera X-Robots-Tag) retira la página de las respuestas generadas por IA; ai-grounding:disallowextended la mantiene elegible para las experiencias operadas por Microsoft como Copilot mientras cierra los servicios de grounding que Microsoft vende a terceros. robots.txt no tiene preferencia de grounding a nivel de sitio; sin publicación, es Allow.
¿User-agent: * Disallow: / saca mi sitio del entrenamiento de IA?
No. El borrador precisa que los grupos wildcard no deben interpretarse como coincidencias con el token de política y que un robots.txt sin grupo __usage_ai-training no expresa preferencia alguna. El bloqueo global sigue rigiendo solo el crawling, y rastrear y usar son interruptores distintos.
¿Un opt-out de entrenamiento de IA penaliza mi posicionamiento en Google?
No. La documentación de crawlers de Google indica que Google-Extended no influye en la inclusión de un sitio en la Búsqueda de Google ni en su clasificación (oficial), y Google lee el token compartido a través del control Google-Extended. Microsoft dice lo mismo para los resultados ordinarios de Bing.
¿Hay que bloquear los crawlers de IA en robots.txt?
Separa los interruptores. Las rutas realmente sensibles siguen bloqueadas al rastreo como hasta hoy. Las preferencias de entrenamiento se expresan vía el token compartido, ruta por ruta. Lo que debe ser citado mantiene puertas abiertas a los crawlers de respuesta (OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot) y a los fetchers activados por usuario; bloquearlos borra tus páginas de las respuestas que ven los compradores.
¿Cuándo aplicarán el token las empresas de IA?
Microsoft Bing arranca el 1 de febrero de 2027 (oficial). Google apunta a 2027, la documentación de crawlers habla de principios de 2027. OpenAI habla de «en los próximos meses» (oficial). Anthropic ya comenzó. A 4 de noviembre de 2026, ninguna empresa aplica aún el token.
Fuentes
- Ratios de bloqueo-permisión, crawler de entrenamiento Bytespider 3.83:1 frente a crawler de respuesta OAI-SearchBot 0.91:1 (Cloudflare Radar, instantánea del 28 de septiembre de 2026, 4.242 archivos robots.txt; GPTBot 1.60:1, ClaudeBot 1.58:1, Google-Extended 1.38:1, CCBot 2.61:1, bingbot 0.99:1): análisis de TechnologyChecker de los datos de Cloudflare Radar
- El 19.9% de los sitios bloquea al menos un crawler de entrenamiento de IA en la raíz frente al 11.4% que bloquea un crawler de búsqueda de IA; 454 de 874 bloqueadores de GPTBot permiten OAI-SearchBot (rastreo independiente, 5.467 archivos robots.txt, octubre de 2026): estudio robots.txt 2026 de Citevisor
- El 41% de los sitios B2B bloquea al menos un gran bot de IA (auditoría de cohorte Q1 2026; benchmark de proveedor, clientela propia de CapstonAI): guía robots.txt de CapstonAI
- IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00, «Machine-Readable Training Preference Signal» (Kevin Kelley, Anthropic, 30 de octubre de 2026; semántica del token, independencia del rastreo, reglas wildcard y de precedencia): datatracker.ietf.org
- Mensaje de anuncio de Kelley en la lista del grupo de trabajo de la IETF (estado de implementación de Anthropic; «no expresa preferencia alguna»): mailarchive.ietf.org
- Google Search Central Blog, «Supporting a shared AI training control for websites» (John Mueller, 30 de octubre de 2026; interpretación de Google-Extended, elegibilidad de grounding en Gemini Apps, objetivo 2027): developers.google.com
- Documentación de crawlers de Google, token Google-Extended (sin efecto en la inclusión ni en la clasificación en la Search; alcance del grounding; nota de soporte de principios de 2027): developers.google.com
- Microsoft Bing Blog, «Your content, your choice: clearer preferences for training and grounding» (Krishna Madhavan, 30 de octubre de 2026; controles ai-training / ai-grounding a nivel de página, DisallowExtended, calendario 1 de febrero / 1 de marzo / 30 de septiembre de 2027, retirada de NoArchive y NoCache): blogs.bing.com
- OpenAI, «Making it easier for websites to express AI training preferences» (30 de octubre de 2026; «coming months»; los controles de crawlers existentes continúan): openai.com
- The Verge, cobertura de la adopción por las cuatro empresas y del no compromiso de Meta (30 de octubre de 2026): theverge.com
- joinmassive, verificación de despliegue en 49 sitios de noticias el 1 de noviembre de 2026 (0 tokens desplegados; 10 de 33 portadas cargables aún llevan NoArchive/NoCache): joinmassive.com