Cloudflare permite que sites proíbam treinamento de IA sem bloquear o Googlebot

A Cloudflare anunciou uma nova configuração Disallow AI Training e afirma que moverá sites que já bloqueiam o treinamento de IA para ela. Essa configuração adiciona uma preferência sem treinamento no robots.txt, ao mesmo tempo que permite que o Googlebot, o Applebot e o Bingbot rastreiem para fins de pesquisa.

Isso difere do plano que mencionei em julho. Naquela época, a Cloudflare explicou que a partir de 15 de setembro, os sites que bloqueiam o treinamento de IA também bloqueariam esses três rastreadores, uma vez que são usados ​​tanto para pesquisa quanto para treinamento. Agora, escolher Bloquear interromperá completamente o Googlebot, Applebot e Bingbot, inclusive para pesquisa.

O que mudou em 15 de setembro

Disallow AI Training é um novo recurso do controle Training da Cloudflare, que faz parte de um trio de controles, incluindo Search e Agent. A empresa descreveu isso pela primeira vez em agosto. Quando ativados, os rastreadores de uso misto que rastreiam para pesquisa e treinamento permanecem autorizados para pesquisa se a empresa os rotular como “Responsáveis”. Outros rastreadores de treinamento, entretanto, serão bloqueados.

Bloquear e bloquear em páginas com anúncios agora também se aplicam a rastreadores de uso misto. A empresa diz que anteriormente os deixou fora de ambas as configurações porque bloqueá-los poderia afetar a visibilidade da pesquisa.

A empresa diz que a maioria dos clientes não precisa mudar nada. As seleções de treinamento existentes de Bloquear ou Bloquear em páginas com anúncios serão migradas para Disallow AI Training. Os sites que usaram qualquer uma das opções de bloqueio na alternância Block AI Bots mais antiga receberão Permitir pesquisa, Proibir treinamento de IA para treinamento e Bloquear em páginas com anúncios para agente.

Block AI Bots e o recurso Managed Robots.txt da Cloudflare estão configurados para serem descontinuados. Para manter os rastreadores de uso misto totalmente fora de um site, a empresa diz que agora você precisa selecionar Bloquear.

Novos domínios que monetizam com anúncios recebem Disallow AI Training como predefinição de treinamento.

Quais rastreadores mantêm acesso à pesquisa

Os rastreadores de uso misto mantêm o acesso à pesquisa em Disallow AI Training apenas se a Cloudflare os rotular como Responsáveis, uma designação criada após conversas com operadores de rastreadores que começaram em julho. Para se qualificar, um operador tem de cumprir ou comprometer-se a cumprir quatro requisitos.

Uma forma de cancelar o treinamento de IA por meio do robots.txt ou de um padrão semelhante.

Uma forma de cancelar os resumos de IA, definida com a operadora agora e por meio da Cloudflare no próximo ano.

Visibilidade em nível de URL de quais páginas foram disponibilizadas para treinamento, além de métricas sobre como o conteúdo apareceu na pesquisa.

Uma garantia de que a desativação do treinamento não afetará os resultados da pesquisa tradicional.

A empresa afirma que Apple, Google e Microsoft atendem a esses requisitos, cada um com recursos disponíveis agora, além de compromissos com prazos para o restante.

Ele também lista os rastreadores relevantes da Amazon, Anthropic, Meta e OpenAI como responsáveis ​​porque essas empresas executam rastreadores de pesquisa e treinamento separados. Seus rastreadores de treinamento ainda estão bloqueados em Disallow AI Training.

O que a configuração cobre no Google, Apple e Bing

No Google, o Disallow AI Training funciona por meio de uma regra Disallow para Google-Extended, o token robots.txt que o Google fornece para cancelar o conteúdo do treinamento do modelo Gemini. A documentação do rastreador do Google diz que o Google-Extended não afeta a inclusão de um site na Pesquisa Google ou sua classificação.

Uma configuração separada do Search Console controla se um site aparece nas visões gerais de IA, no modo AI e nos recursos generativos de IA do Discover. A página de ajuda do Google diz que a configuração não afeta o treinamento de IA.

Na Apple, a configuração funciona por meio de uma regra de proibição para Applebot-Extended. A documentação da Apple diz que o Applebot-Extended não rastreia páginas e não é considerado na classificação de pesquisa. Manter o conteúdo fora das respostas geradas por IA para questões de amplo conhecimento na Siri e na Pesquisa usa a meta tag nosnippet.

Escolher Disallow AI Training ainda não enviará ao Bing uma preferência de não treinamento por meio do robots.txt, pois a Microsoft ainda precisa adicionar suporte para ele. Cloudflare mencionou que esse recurso ainda está em desenvolvimento. Além disso, o bloco de treinamento anterior no Cloudflare também não afetou o Bingbot.

A atual desativação de treinamento do Bing é a meta tag NOARCHIVE. De acordo com a documentação do Bing, o conteúdo marcado com NOARCHIVE não é usado para treinar os modelos generativos de IA da Microsoft e não está vinculado ao Chat e ao Copilot.

Por que isso é importante

Selecionar Bloquear em vez de Proibir treinamento de IA na Cloudflare não apenas bloqueia rastreadores de treinamento de IA, mas também impede que Google, Apple e Bing rastreiem seu site.

Proibir mapas do AI Training para as opções de treinamento fornecidas pelo Google e pela Apple. Ele não determina se suas páginas aparecerão nas visões gerais de IA e no modo AI, pois o Google gerencia isso por meio do Search Console. No Bing, a desativação do treinamento ainda é indicada pela tag NOARCHIVE, o que também significa que os links do Copilot não serão incluídos.

Olhando para o futuro

Cloudflare compartilha que o Google está planejando lançar ferramentas de transparência em nível de URL para Google-Extended nas próximas semanas. Enquanto isso, diz que a Apple está trabalhando em sua própria ferramenta de nível de URL para o próximo ano. Além disso, Cloudflare afirma que o suporte da Microsoft para uma preferência sem treinamento em robots.txt está previsto para o início de 2027.

O próximo foco da Cloudflare serão os resumos de IA. A empresa afirma que seu objetivo é controlar a quantidade de conteúdo incluído nos resumos por meio de uma única configuração na Cloudflare, em vez de ajustar as configurações individualmente para cada operadora, até o início do próximo ano.

Imagem em destaque: Remo_Designer/Shutterstock