As regras do rastreador de IA da Cloudflare podem bloquear o Googlebot
A Cloudflare está atualizando seu método de identificação e bloqueio de rastreadores de IA, o que pode resultar no bloqueio do Googlebot em sites que impedem o treinamento de IA. A empresa anunciou a atualização como parte de seu segundo Dia da Independência de Conteúdo.
Os novos controles permitem que os sites gerenciem o tráfego automatizado com base em três comportamentos, em vez de uma única opção “bloquear bots de IA”. Eles já estão disponíveis para todos os clientes, incluindo o nível gratuito. Um conjunto separado de alterações padrão entra em vigor em 15 de setembro.
Três maneiras de classificar rastreadores de IA
A Cloudflare agora classifica os rastreadores pelo que eles fazem em um site, e não se eles contam como “IA”. A empresa divide os casos de uso de IA em três categorias:
- A pesquisa indexa um site para responder perguntas posteriormente, e a Cloudflare vincula esse comportamento ao tráfego de referência.
- Agente, bots em tempo real agindo em nome de uma pessoa, como ChatGPT-User ou agentes de navegador como Gemini ou Claude operando o Chrome.
- Treinamento, rastreamento que extrai conteúdo para treinar ou ajustar um modelo.
A Cloudflare diz que os operadores de bots devem executar rastreadores separados para cada comportamento, para que os sites possam ver por que um bot está visitando e decidir se permitem ou bloqueiam.
O que muda em 15 de setembro
Duas alterações padrão entrarão em vigor em 15 de setembro. Para novos clientes e novos sites para clientes existentes, os rastreadores de treinamento e agente serão bloqueados por padrão em páginas que exibem anúncios, enquanto a pesquisa permanecerá permitida. O comunicado de imprensa da Cloudflare também diz que os clientes gratuitos existentes que não alteraram suas configurações até 15 de setembro serão movidos para esses padrões.
A segunda mudança vai ainda mais longe. A Cloudflare começará a tratar rastreadores multifuncionais com base em seu comportamento geral, aplicando as regras mais rigorosas aplicáveis. Por exemplo, um rastreador que realiza pesquisa e treinamento será bloqueado se um site bloquear o treinamento. Cloudflare usa Googlebot, Applebot e Bingbot como exemplos, já que cada um rastreia tanto para pesquisa quanto para treinamento de IA. Se um site já tiver habilitado a configuração antiga “Bloquear bots de IA”, ele será coberto por esta nova regra.
Se quiser manter esses rastreadores, você pode revisar ou alterar essas configurações no painel da Cloudflare a qualquer momento antes de 15 de setembro. A Cloudflare afirma que continuará a notificar os clientes antes da data.
Novos sinais de como os bots usam o conteúdo
A Cloudflare também está testando um sinal de uso de conteúdo que estende os sinais de conteúdo no robots.txt. Carrega três valores, do mais ao menos restritivo: imediato, que nada armazena; referência, que indexa e vincula de volta e é o novo padrão; e completo, que resume e reproduz. A Cloudflare diz que eles declaram uma preferência e não bloqueiam por conta própria.
A empresa revisou a definição de “Verificado” para bots. Agora, um bot verificado não é automaticamente permitido em todos os lugares; em vez disso, o seu acesso depende da sua categoria. Além disso, os bots que replicam o conteúdo na íntegra não são elegíveis para verificação. A Cloudflare introduziu um diretório pesquisável, BotBase, para usuários do Enterprise Bot Management, que exibe a classificação de cada bot rastreado e um ID de detecção copiável para regras de segurança.
O relatório por trás das mudanças
A atualização chegou com um relatório da Cloudflare marcando o aniversário de um ano do primeiro Dia da Independência do Conteúdo. De acordo com o relatório, o treinamento em IA agora é responsável pela maioria das solicitações de rastreadores em sua rede, um aumento em relação aos cerca de 20% na primavera de 2025. Ele também observa que as solicitações diárias de agentes de IA aumentaram mais de 1.700% ao longo do ano. Essas estatísticas são baseadas no tráfego de rede da Cloudflare e não representam toda a web.
Por que isso é importante
A regra de 15 de setembro vincula blocos de treinamento de IA ao rastreamento de pesquisa na rede da Cloudflare. Se um site bloquear o treinamento para proteger seu conteúdo de modelos de IA, ele também poderá bloquear involuntariamente o Googlebot, uma vez que um bloco Cloudflare opera no nível da rede, tornando-o mais difícil de ignorar do que uma simples linha robots.txt que o Google pode ignorar, já que um bloco Cloudflare opera no nível da rede, uma vez que o robots.txt é uma instrução consultiva para rastreadores. Perder o acesso do Googlebot significa que o site não será rastreado de forma tão eficaz, o que pode eventualmente impactar sua visibilidade nos resultados de pesquisa.
Acompanhei editores migrando para configurações de negação padrão e bloqueando recuperação e treinamento bots acabaram o ano passado. A exposição é sempre a mesma. O bloqueio da camada de treinamento também pode bloquear a camada de pesquisa que mantém um site localizável.
Olhando para o futuro
Os sites que usam Cloudflare devem revisar suas configurações de bloqueio de IA até 15 de setembro e decidir se desejam manter os rastreadores de pesquisa ativados. A regra do rastreador combinado afeta principalmente aqueles que ativaram “Bloquear bots de IA” anteriormente e não ajustaram suas configurações desde então. Os usuários gratuitos que não alterarem suas configurações as atualizarão para os novos padrões nessa data.
A Cloudflare quer que os operadores de rastreadores de propósito misto separem esses bots por comportamento durante o próximo ano. Se os principais operadores diferenciarem seus bots por comportamento determinará se isso se tornará uma escolha real, em vez de um compromisso entre bloquear o treinamento de IA e manter a visibilidade da pesquisa.
Imagem em destaque: jackpress/Shutterstock
