Google se junta à OpenAI e à Anthropic para prometer novos controles de raspagem
A nova diretiva robots.txt impedirá que as empresas extraiam conteúdo para treinamento generativo de IA.
Google, Anthropic, OpenAI e Microsoft se comprometeram a honrar uma nova diretiva robots.txt, que permitirá aos editores especificar suas preferências quando se trata de extrair seu conteúdo para treinamento generativo de IA. As empresas decidiram adotar uma proposta em consideração na IETF, a organização de padrões abertos para a Internet, escrita pelo líder técnico de padrões da Anthropic, Kevin Kelley.
Conforme explicado pela OpenAI e pelo Google em seus anúncios, os proprietários de sites atualmente precisam identificar rastreadores individuais e adicionar regras separadas para cada provedor. A proposta de Kelley mudará isso, fazendo com que várias empresas de IA reconheçam e honrem um único sinal comum. Os editores precisam configurar um novo agente de usuário no arquivo robots.txt específico para treinamento de IA, que terá a seguinte aparência:
Agente do usuário: __usage_ai-training
Proibir: /
Permitir: /press-kit/
Isso bloqueará rastreadores destinados especificamente a coletar dados para treinamento de IA. A seção “Permitir” oferece aos operadores do site a opção de permitir a raspagem para treinamento de IA em partes específicas da página, como se houvesse um kit de imprensa nela. Mas esta nova seção de agente de usuário não impede totalmente o rastreamento nem impede que o conteúdo apareça na pesquisa do Google. Por exemplo, o Google irá interpretá-lo especificamente como um sinal de pare especificamente para o agente de usuário “Google-Extended”, que rastreia sites em busca de materiais usados para treinar modelos Gemini.
Outra coisa a notar é que esta directiva não pode desfazer qualquer esforço passado que as empresas já tenham feito. Se eles rastrearam uma página anteriormente, eles já possuem seu conteúdo. Isso apenas os impedirá de copiar sites ou páginas específicas no futuro. A Anthropic já começou a apoiar a nova diretiva, enquanto a Microsoft disse que começará a apoiá-la em 1º de fevereiro de 2027. O Google disse que também a apoiará no início de 2027, enquanto a OpenAI se comprometeu a implementar o novo sinal nos próximos meses.
