Google, Microsoft, OpenAI e Anthropic anunciaram na sexta-feira (30) que vão respeitar um sinal comum, inserido no arquivo robots.txt dos sites, para que os responsáveis pelas páginas digam se aceitam ou não que o conteúdo seja usado no treinamento de modelos de inteligência artificial generativa. O mecanismo está descrito em uma proposta enviada à IETF (Internet Engineering Task Force, a entidade que define padrões técnicos da internet) por Kevin Kelley, líder técnico de padrões da Anthropic. Com uma única regra, identificada pelo código __usage_ai-training, um site passa a comunicar sua preferência às quatro empresas de uma vez. A adoção será gradual: a Microsoft começa a aplicar o sinal em 1º de fevereiro de 2027, e o Google prevê dar suporte ao longo de 2027.
Hoje, quem quer impedir o uso dos próprios textos no treino de IA precisa identificar cada robô de coleta (crawler) e escrever regras separadas para cada fornecedor, como o GPTBot, da OpenAI, e o Google-Extended, do Google. O robots.txt é um arquivo de texto colocado na raiz do site que orienta esses robôs sobre o que podem ou não acessar. A proposta, registrada como draft-kelley-aipref-training-preference-signal-00, foi apresentada na lista de discussão do grupo de trabalho AIPREF da IETF, dedicado a preferências de uso de conteúdo por sistemas de IA.
O documento é uma submissão individual. Segundo o registro da própria IETF, ainda não tem endosso da entidade nem status formal de padrão, e pode mudar antes de expirar, em maio de 2027. Amazon, Apple e Meta não estão entre as empresas que se comprometeram a seguir o sinal.
O que muda para as empresas
Para empresas que produzem conteúdo na web, como blogs, portais, lojas virtuais com descrições de produtos e centrais de ajuda, a mudança reduz o trabalho técnico de controlar o uso dos textos por IA. Basta um bloco no robots.txt com o novo código e a lista de pastas que não devem ser usadas no treino. O exemplo do rascunho bloqueia o site inteiro, com exceção da área de imprensa. O sinal expressa uma preferência sobre o uso do conteúdo, e não uma ordem para que os robôs deixem de visitar as páginas. Regras genéricas já existentes, do tipo "User-agent: *", não contam como manifestação de preferência.
O ponto de atenção para as equipes de marketing é a visibilidade. O Google informou que, se um site usar o novo código para recusar o treino sem mencionar o Google-Extended, a empresa tratará a regra como um bloqueio ao Google-Extended. Sites que permitem esse robô podem aparecer em respostas do aplicativo Gemini. A Microsoft criou, além do controle de treino, uma preferência separada para o chamado grounding, quando uma resposta de IA consulta uma página em tempo real, e avisa que restringir esse uso reduz a visibilidade da marca em experiências de IA. Segundo a Microsoft, as novas preferências não alteram a elegibilidade das páginas nos resultados tradicionais do Bing; no Google, a recusa ao treino também não retira o conteúdo da busca.
O sinal tampouco desfaz coletas anteriores: o conteúdo já obtido pelas empresas continua com elas. A Microsoft afirma que as preferências não criam acordos de licenciamento nem de pagamento, e acordos privados entre sites e empresas de IA podem se sobrepor ao que estiver no robots.txt. A OpenAI disse que o novo sinal não substituirá os controles que já oferece por meio do robots.txt, como o GPTBot.
“Isso vai ajudar os sites a expressar suas preferências de treinamento de IA para vários provedores de IA em um único passo.”
— Google, em comunicado sobre o novo controle (tradução livre do inglês)
O que observar a seguir
- 15 de dezembro de 2026: o Bing Webmaster Tools abre preferências temporárias de transição para sites que hoje usam as marcações NoArchive ou NoCache.
- 1º de fevereiro de 2027: a Microsoft começa a aplicar as novas preferências de treino e grounding.
- 1º de março de 2027: NoArchive e NoCache deixam de valer como preferência de treino e grounding no Bing.
- 2027: o Google prevê dar suporte ao sinal; a OpenAI fala em implementá-lo nos próximos meses; a Anthropic já começou a implementação, sem data de conclusão.
- IETF: tramitação da proposta, que pode mudar, e eventual adesão de outras empresas, como Amazon, Apple e Meta.
