Illyes do Google: Robots.txt cobre rastreamento, não treinamento de IA

Robots.txt, como o padrão da Internet RFC 9309 o define, rege quais URLs um rastreador pode solicitar, e não o que acontece com o conteúdo posteriormente, disse Gary Illyes, do Google, em um vídeo da Central de Pesquisa publicado na quarta-feira. Para manter um rastreador de IA afastado e permitir outros, disse ele, é necessário direcionar o token do agente do usuário desse rastreador no arquivo.

O vídeo é o segundo episódio de The Non-Canonical Cabinet, onde Illyes e Cherry Prommawin, do Google Search Relationships, respondem a perguntas delicadas da comunidade. Illyes também é co-autor, com Martin Thomson da Mozilla, de um Internet-Draft da IETF que daria ao robots.txt uma forma padrão de indicar preferências de uso. Prommawin recomendou escrever caminhos de regras em idiomas diferentes do inglês em formato codificado por porcentagem para rastreadores que não sejam do Google.

O que Illyes disse sobre o treinamento em IA

A questão do episódio era se o robots.txt pode permitir o rastreamento de um site por IA e manter essas mesmas informações fora do treinamento de modelo generativo. De acordo com Illyes, “conforme definido pela RFC 9309, robots.txt é um protocolo de preferência de acesso”. Ele continuou dizendo que o robots.txt “não determina o que um sistema faz com os dados depois de já tê-los rastreado”. Se você deseja bloquear completamente o acesso de um rastreador de IA específico a todo o seu site, afirmou Illyes, você precisa “direcionar seus tokens de agente de usuário específicos explicitamente no arquivo”.

O episódio ilustrou uma diretiva fictícia (por exemplo, No-AI-Chicken-Training) que foi mostrada na tela e seria ignorada por um analisador. A página de especificações do robots.txt do Google afirma que os quatro elementos suportados são User-Agent, Allow, Disallow e Sitemap; linhas inválidas serão ignoradas pelo Google.

Quanto especificamente ao RFC 9309 (Seção 2.2.4), ele permite que os rastreadores decidam como processarão um registro fora do escopo deste protocolo. Portanto, se uma linha adicional realiza algo ou não, depende da interpretação do rastreador.

Quais controles estendidos do Google

Google-Extended é um token robots.txt sem agente de usuário próprio. O Google rastreia seus agentes de usuário existentes, e a lista de rastreadores comuns do Google diz que o token é “usado para fins de controle”. Ele gerencia se o conteúdo rastreado pelo Google pode ser usado para treinar modelos futuros do Gemini e para fundamentação em aplicativos Gemini e aterramento com pesquisa do Google na Vertex AI. A página diz que isso não afeta a inclusão de um site na Pesquisa Google e não é um sinal de classificação.

O significado do Google-Extended como controle de uso vem da documentação do Google para seus próprios produtos, e não da RFC 9309. Os apresentadores não discutiram isso no ar, mas a descrição do vídeo está vinculada à mesma lista.

O rascunho que adicionaria uma regra de uso

A versão atual do rascunho da IETF que Illyes co-escreveu, datado de 19 de agosto, atualizaria a RFC 9309, se aprovada, com uma regra de uso de conteúdo para robots.txt e um cabeçalho HTTP correspondente. Nem o episódio nem sua descrição mencionam o rascunho.

De acordo com o rascunho, Permitir e Proibir continuariam a controlar quais URLs podem ser rastreados. O Content-Usage definiria então as preferências sobre como o conteúdo rastreado deveria ser usado. Essas preferências estariam relacionadas apenas a caminhos onde um rastreador tem permissão para buscar conteúdo. Um campo Content-Usage de “train-ai=n” é adicionado ao arquivo robots.txt de exemplo do rascunho, que permite o rastreamento.

O rascunho ainda é um documento do grupo de trabalho. Atualmente, a entrada do IETF Datatracker mostra que o Grupo de Trabalho ainda não submeteu o documento para revisão pelo Grupo Diretor da IETF (IESG). A data planejada do Grupo de Trabalho para enviá-lo ao IESG era agosto de 2026. O rótulo ‘train-ai’ mencionado acima aparece em um rascunho de vocabulário separado, datado de 14 de setembro. Esse documento afirma que não reflete nenhum consenso dentro do Grupo de Trabalho.

Caminhos não ingleses com codificação percentual

O conselho de Cherry Prommawin para caminhos com caracteres ou emojis que não sejam do inglês foi que “você deve usar a versão codificada em suas regras do robots.txt”. O analisador do Google lida com caracteres brutos codificando-os, disse ela, mas “outros rastreadores ou rastreadores mais antigos na web podem ficar confusos”.

O exemplo na tela rotulava um caminho de emoji bruto “Funciona para o Google, pode quebrar outros” e sua forma codificada por porcentagem “A maneira padrão e segura”. A página de especificações do Google diz que seu analisador trata UTF-8 bruto e caminhos codificados por porcentagem da mesma maneira, e a gramática da RFC 9309 permite caracteres UTF-8 em caminhos.

Por que isso é importante

O método necessário no robots.txt para limitar o uso de IA de seu conteúdo e, ao mesmo tempo, manter seu site visível na Pesquisa Google depende de qual bot ou produto você está trabalhando. As declarações de proibição podem impedir que rastreadores de IA específicos acessem páginas da web específicas. Para Gemini, o controle documentado do Google é estendido pelo Google e inclui treinamento e base. Atualmente não existe uma forma padrão de expressar uma preferência de treinamento independente dos bots com permissão para rastrear a página da web; existe apenas como um rascunho.

Os sites que usam URLs com idiomas diferentes do inglês desejarão codificar seus caminhos robots.txt usando codificação percentual. A codificação percentual é mais segura porque, embora o Google trate igualmente as versões brutas e codificadas do mesmo caminho de regra robots.txt, outros rastreadores podem interpretar caracteres brutos de maneira diferente.

Olhando para o futuro

De acordo com a descrição do vídeo, o próximo episódio do Gabinete Não Canônico cobrirá o código de status 404. O rascunho atual de uso de conteúdo expirará em 20 de fevereiro de 2027, a menos que uma nova revisão o substitua antes.

Imagem em destaque: Alicia97/Shutterstock

Marca nominativa Google: Fonte: Google.