Google, Microsoft, OpenAI y Anthropic anunciaron el viernes 30 de octubre que respetarán una señal común, incluida en el archivo robots.txt de los sitios web, para que sus responsables indiquen si aceptan o no que su contenido se use para entrenar modelos de inteligencia artificial generativa. El mecanismo se describe en una propuesta enviada a la IETF (Internet Engineering Task Force, el organismo que define estándares técnicos de internet) por Kevin Kelley, líder técnico de estándares de Anthropic. Con una sola regla, identificada por el código __usage_ai-training, un sitio comunica su preferencia a las cuatro empresas a la vez. La adopción será gradual: Microsoft empezará a aplicar la señal el 1 de febrero de 2027 y Google prevé darle soporte a lo largo de 2027.
Hoy, quien quiere impedir que sus textos se usen para entrenar IA debe identificar cada rastreador (crawler) y escribir reglas separadas para cada proveedor, como GPTBot, de OpenAI, y Google-Extended, de Google. El robots.txt es un archivo de texto ubicado en la raíz del sitio que indica a esos robots qué pueden y qué no pueden consultar. La propuesta, registrada como draft-kelley-aipref-training-preference-signal-00, se presentó en la lista de discusión del grupo de trabajo AIPREF de la IETF, dedicado a las preferencias sobre el uso de contenido por sistemas de IA.
El documento es una presentación individual. Según el registro de la propia IETF, todavía no cuenta con el respaldo del organismo ni tiene estatus formal de estándar, y puede cambiar antes de vencer, en mayo de 2027. Amazon, Apple y Meta no figuran entre las empresas que se comprometieron a seguir la señal.
Qué cambia para las empresas
Para las empresas que publican contenido en la web, como blogs, portales, tiendas en línea con descripciones de productos y centros de ayuda, el cambio reduce el trabajo técnico de controlar el uso de sus textos por la IA. Basta un bloque en el robots.txt con el nuevo código y las carpetas que no deben usarse para entrenamiento. El ejemplo del borrador bloquea todo el sitio, salvo el área de prensa. La señal expresa una preferencia sobre el uso del contenido, no una orden para que los robots dejen de visitar las páginas. Las reglas genéricas ya existentes, del tipo "User-agent: *", no cuentan como manifestación de preferencia.
El punto de atención para los equipos de marketing es la visibilidad. Google informó que, si un sitio usa el nuevo código para rechazar el entrenamiento sin mencionar Google-Extended, tratará la regla como un bloqueo a Google-Extended. Los sitios que permiten ese robot pueden aparecer en respuestas de la aplicación Gemini. Además del control de entrenamiento, Microsoft creó una preferencia separada para el llamado grounding, cuando una respuesta de IA consulta una página en tiempo real, y advierte que restringir ese uso reduce la visibilidad de la marca en experiencias de IA. Según Microsoft, las nuevas preferencias no alteran la elegibilidad de las páginas en los resultados tradicionales de Bing; en Google, rechazar el entrenamiento tampoco retira el contenido del buscador.
La señal tampoco deshace recolecciones anteriores: el contenido que las empresas ya obtuvieron sigue en su poder. Microsoft afirma que las preferencias no crean acuerdos de licencia ni de pago, y los acuerdos privados entre sitios y empresas de IA pueden prevalecer sobre lo que figure en el robots.txt. OpenAI dijo que la nueva señal no sustituirá los controles que ya ofrece mediante el robots.txt, como GPTBot.
“Esto ayudará a los sitios web a expresar sus preferencias sobre el entrenamiento de IA ante varios proveedores de IA en un solo paso.”
— Google, en un comunicado sobre el nuevo control (traducido del inglés)
Qué observar a continuación
- 15 de diciembre de 2026: Bing Webmaster Tools habilita preferencias temporales de transición para los sitios que hoy usan las etiquetas NoArchive o NoCache.
- 1 de febrero de 2027: Microsoft empieza a aplicar las nuevas preferencias de entrenamiento y grounding.
- 1 de marzo de 2027: NoArchive y NoCache dejan de valer como preferencia de entrenamiento y grounding en Bing.
- 2027: Google prevé dar soporte a la señal; OpenAI dice que la implementará en los próximos meses; Anthropic ya comenzó la implementación, sin fecha de conclusión.
- IETF: avance de la propuesta, que puede cambiar, y posible adhesión de otras empresas, como Amazon, Apple y Meta.
