Google, Microsoft e OpenAI planejam honrar a desativação do treinamento de IA compartilhado

Google, Microsoft e OpenAI anunciaram planos na sexta-feira para honrar uma linha robots.txt compartilhada para preferências de treinamento de IA. Um site poderia usá-lo para declarar uma preferência de treinamento para cada provedor participante, em vez de escrever regras para o rastreador de cada empresa.

A linha vem de um rascunho da Internet que Kevin Kelley, da Anthropic, apresentou ao grupo de trabalho de Preferências de IA da IETF (mesma data). Isto está listado no rastreador de documentos da IETF como um rascunho individual, que não representa a atividade oficial de padronização da IETF. Em uma postagem na lista de e-mail do grupo de trabalho, Kelley indicou que a Anthropic iniciou o desenvolvimento para fornecer esse recurso.

Com base nos prazos fornecidos, nenhuma das três empresas apoia atualmente a linha. Google e Microsoft descreveram como cada um lidaria com isso de maneira diferente. De acordo com o Google, se um site configurar uma linha de exclusão compartilhada, o Google planeja tratá-la como um bloqueio estendido do Google quando um site não especifica o Google estendido, e esse controle também se aplica à fundamentação nos aplicativos Gemini. A Microsoft deseja que os sites que usam suas tags NoArchive e NoCache mudem para novas preferências até 1º de março de 2027.

Como funciona a linha compartilhada

O rascunho de Kelley não adiciona nenhuma nova diretiva ao robots.txt. Um grupo de regras comum, que um site pode escrever sob o que o rascunho chama de token de política, __usage_ai-training, seria escrito como sempre foi, usando Permitir e Proibir. O rascunho fornece um exemplo de como alguém pode optar por não receber treinamento em IA em todo o site, exceto na pasta /press-kit/.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

O próprio token tem seu significado baseado no rascunho de vocabulário do grupo de trabalho, definindo especificamente o Treinamento de IA como o uso de conteúdo para modificar os parâmetros aprendidos de um modelo de IA generativo. Aqueles modelos que não fazem nada além de tarefas não geradoras, como classificação ou classificação, estão isentos desta definição.

As regras que já foram colocadas em arquivos robots.txt não serão consideradas como parte de nenhuma preferência de treinamento compartilhada. No rascunho, um grupo curinga (User-Agent: *) nunca pode corresponder ao token, e um arquivo sem um grupo __usage_ai-training indica nenhuma preferência, o que Kelley afirma ser verdadeiro para todos os arquivos robots.txt publicados atualmente. O token também não controla o rastreamento.

Em 22 de outubro, abordei um rascunho de grupo de trabalho diferente, co-escrito por Gary Illyes do Google, que adicionaria uma regra de uso de conteúdo ao robots.txt. Kelley escreveu que o grupo deixou esse rascunho de lado para progredir no vocabulário.

Google vincula isso ao Google estendido

A postagem do Google, de John Mueller, diz que quando um site opta por não receber treinamento com a linha compartilhada e não especifica o Google-Extended, o Google planeja interpretar isso “como se o editor tivesse proibido o Google-Extended”. O Google pretende apoiar o controle em 2027, de acordo com a postagem, e a documentação do rastreador indica o início de 2027.

A documentação diz que o Google-Extended controla se o conteúdo pode ser usado para treinar futuros modelos Gemini e se pode ser usado para fundamentação em aplicativos Gemini e Vertex AI. Aterramento, na descrição do Google, significa fornecer conteúdo do índice de pesquisa ao modelo quando ele responder. A postagem acrescenta que os sites que permitem especificamente o Google-Extended são elegíveis para aparecer nas respostas do Gemini Apps por meio de aterramento.

A documentação também diz que o Google-Extended não afeta a inclusão de um site na Pesquisa Google. As visões gerais de IA e o modo AI têm uma opção de exclusão separada, o controle de IA generativo de pesquisa no Search Console, que abordei quando foi lançado mundialmente em agosto.

Microsoft separa treinamento de aterramento

A postagem da Microsoft, do gerente de produto principal do Bing, Krishna Madhavan, adota a linha compartilhada para treinamento e adiciona uma preferência separada de AI Grounding. Esse é definido apenas no nível da página e determina se o conteúdo pode ajudar a informar as respostas geradas pela IA. A Microsoft também permite que uma meta tag ou cabeçalho HTTP defina a preferência de treinamento para uma única página, substituindo o robots.txt dessa página.

O padrão Permitir é o que acontece com o aterramento, e manter uma página fora é como o Disallow funciona. A nova opção chamada DisallowExtended permite o aterramento em ferramentas criadas pela Microsoft, como o Copilot e o AI Mode do Bing, mas não permite o aterramento por meio de serviços de aterramento fornecidos pela Microsoft que são usados ​​por outras empresas (Web IQ). A Microsoft disse que qualquer restrição limitará a visibilidade da sua marca nas respostas que usam Inteligência Artificial (IA) e não terá efeito na sua capacidade de ser listado nos resultados de pesquisa do Bing.

A Microsoft está substituindo NoArchive e NoCache para treinamento e base por essas duas novas opções. Eles começarão a respeitar as novas opções em 1º de fevereiro de 2027, à medida que engatinham, e deixarão de reconhecer as tags mais antigas como opções de treinamento ou aterramento após 1º de março de 2027.

Sites que usam tags antigas e querem ficar fora do chão também precisam registrar uma preferência temporária nas Ferramentas do Google para webmasters. A configuração abre em 15 de dezembro e está disponível apenas para sites que ainda usam essas tags naquela data. O FAQ da Microsoft diz que as páginas sem uma até 1º de março permitem o aterramento até que a Microsoft as rastreie novamente. A Microsoft também afirma que, uma vez detectada uma nova preferência em um site, ela desconsiderará quaisquer tags NoArchive ou NoCache ainda nesse site.

OpenAI e Antrópico

A OpenAI pretende honrar o sinal nos próximos meses, embora sua política atual de robots.txt ainda esteja em vigor.

Nem a postagem do blog da OpenAI nem a documentação do rastreador (verificada em 30 de outubro) afirmam o que aconteceria quando um site tivesse uma regra de linha compartilhada e uma regra GPTBot que conflitassem entre si.

Até o dia 30 de outubro, não havia nenhuma postagem na redação da Anthropic sobre o sinal. De acordo com a mensagem da lista de discussão de Kelley, a implementação do suporte para esse recurso em todos os serviços da Anthropic levará algum tempo.

De acordo com a página de ajuda do rastreador da Anthropic (verificada em 30 de outubro), eles têm apenas três opções de controle de rastreamento disponíveis, que são ClaudeBot, Claude-User e Claude-SearchBot.

Por que isso é importante

Um grupo robots.txt poderia substituir uma pilha de regras de treinamento por empresa assim que cada empresa as lesse; no entanto, a desativação por meio da linha compartilhada não alcançará os mesmos usos no Google e na Microsoft. Por exemplo, na Microsoft, o treinamento e a base são configurações separadas. Em contraste, ambos estão sob o Google-Extended no Google, e não há nenhuma maneira descrita na documentação do rastreador para manter o conteúdo fora do treinamento do Gemini e ainda permitir que os aplicativos Gemini o usem para aterramento.

O anúncio da Microsoft é o único que substitui os controles que os sites já utilizam. De acordo com Google, OpenAI e Kelley da Anthropic, os controles existentes continuarão a funcionar, então os sites que usam NoArchive ou NoCache para limitar como o Copilot usa seu conteúdo têm coisas que precisam fazer primeiro.

Olhando para o futuro

A postagem da OpenAI incentiva outros provedores de IA a honrar o sinal, e Kelley escreveu que espera que outros adiram. O Google e a OpenAI dizem que compartilharão mais detalhes assim que o suporte chegar. O rascunho de Kelley expira em 3 de maio de 2027, a menos que uma nova versão o substitua, e ele planeja propor seu design como uma mudança no rascunho de uso de conteúdo.

Imagem em destaque: Teodora ART/Shutterstock