Cloudflare escreverá seu Robots.txt e tem razão

Em 20 de agosto, publiquei uma página argumentando que o robots.txt de um site e sua aplicação real são duas coisas diferentes, e usei meu site como exemplo de como errar. Meu robots.txt passou meses dando as boas-vindas ao Bytespider pelo nome, muito depois de eu ter escolhido o contrário, e só o peguei enquanto escrevia aquela página.

No dia seguinte, a Cloudflare anunciou o Bot Preference Sync, um produto que corrige exatamente isso.

O Bot Preference Sync grava seu robots.txt para você. Qualquer política de bot que você definir no painel da Cloudflare será transformada em entradas robots.txt e anexadas ao seu arquivo, dentro # BEGIN Cloudflare Bot Preference Sync e # END Cloudflare Bot Preference Sync marcadores, com o conteúdo existente preservado abaixo. A Cloudflare diz que funcionará a partir do nível gratuito e que, para novos clientes, estará ativado por padrão.

Desde 13 de setembro, não há nenhuma entrada para Bot Preference Sync no changelog de bots da Cloudflare, que ainda termina em 1º de julho, nenhuma menção a isso em qualquer lugar na documentação de bots da Cloudflare e nenhum bloco gerado em meu robots.txt. Então o que se segue é um produto conforme anunciado.

A sincronização de preferências do bot é boa. Minha objeção é que ele dá ao fornecedor a decisão sobre o que seu site diz aos rastreadores de IA, de uma forma que não consegue expressar o que muitos sites realmente fazem, e faz isso por padrão.

Um Robots.txt que contradiz sua vantagem é um argumento para ignorá-lo

O anúncio da Cloudflare sobre o Bot Preference Sync diz que “quando suas preferências declaradas e suas regras aplicadas discordam, alguns rastreadores tratam isso como uma base para desconsiderar suas preferências ou tentar ignorar suas regras impostas”.

A Cloudflare não diz quais rastreadores, ou quantos, ou como sabe. Ele fica na frente de uma grande parte da web e vê o tráfego, o que o torna a única parte em posição de nomeá-los, e não nomeia ninguém. Parece algo que pode ser verdade. Uma lista seria algo que eu poderia verificar.

A Cloudflare está confirmando o argumento no qual passei uma página inteira de referência sobre o que os tribunais dizem sobre o bloqueio de bots de IA. Um arquivo que diz uma coisa enquanto sua vantagem faz outra, entrega um argumento para qualquer um que queira ignorá-lo.

Esse tipo de lacuna é fácil de criar, porque o robots.txt e a aplicação de borda residem em lugares diferentes. O arquivo é um texto que você escreveu uma vez, provavelmente há algum tempo. A aplicação é um painel que você alterou em algum momento desde então. Nada os mantém honestos um com o outro e nada mantém nenhum deles honesto com o que você decidiria hoje. Meu arquivo desviou-se do que eu decidiria durante meses, e escrevo sobre isso para viver.

Comecei a corrigir meu robots.txt manualmente em 20 de agosto, um dia antes de a Cloudflare anunciar o Bot Preference Sync, e terminei em 26 de agosto.

A sincronização de preferências de bot define políticas por categoria, não por rastreador

O Bot Preference Sync gera seu robots.txt a partir de três configurações, que ficam em Configurações de segurança e Configurar políticas de bot de IA: Pesquisa, Agente e Treinamento. A documentação da Cloudflare oferece as mesmas três opções: bloquear em todas as páginas, bloquear apenas em páginas com anúncios ou permitir. O anúncio do Bot Preference Sync descreve o treinamento de maneira diferente, como uma opção Disallow que grava uma linha sem treinamento no arquivo. A lista de bots rastreados da Cloudflare decide quais rastreadores se enquadram em qual categoria, e as entradas robots.txt geradas seguem suas três configurações. Você não pode excluir um bot individual da sincronização. A resposta declarada da Cloudflare para quem deseja um controle mais preciso é desligar a sincronização e manter o arquivo você mesmo.

Minha própria política de rastreador não se enquadra em nenhuma das três categorias do Bot Preference Sync. Eu permito o GPTBot da OpenAI, o rastreador da Anthropic e o PerplexityBot. Eu bloqueio o Bytespider e o meta-externalagent. Cada uma dessas empresas treina modelos. Minha regra é uma pergunta que faço a cada empresa: O que estou recebendo em troca? Os três primeiros colocam minhas páginas na frente de pessoas que fazem perguntas aos assistentes. Os outros dois levam e não devolvem nada. Essa é uma decisão de negócios tomada por um rastreador de cada vez.

Defina o treinamento para não permitir e o arquivo informa ao OpenAI para não treinar no conteúdo que estou feliz que o OpenAI treine. Defina Training para permitir e nada no arquivo separa Meta e ByteDance de qualquer outra pessoa, enquanto minha borda retorna 403 para ambos. Não há nenhuma configuração que descreva o que eu realmente faço. A solução documentada da Cloudflare é desligar a sincronização e voltar a escrever o arquivo manualmente, o que eu já estava fazendo um dia antes da existência do Bot Preference Sync.

Cloudflare publicou 4 condições de divulgação e anexou bloqueio a elas

Definir o treinamento como proibir grava uma linha sem treinamento em seu robots.txt e bloqueia todos os rastreadores de IA que a Cloudflare considera opacos. A Cloudflare publicou as condições que um rastreador deve atender para evitar isso. Para um bot que faz pesquisa e treinamento, aqui estão os requisitos nas próprias palavras da Cloudflare:

• “Deve respeitar, através de qualquer mecanismo, uma preferência de ‘sem treinamento’ no robots.txt”
• “Eles oferecem aos proprietários de sites uma maneira de cancelar os resumos de IA”
• “Eles fornecem visibilidade em nível de URL de quais páginas foram disponibilizadas para treinamento, bem como métricas nos resultados de pesquisa, para que você possa ver como seu conteúdo foi usado para pesquisa e treinamento”
• “Eles podem mostrar publicamente que proibir o treinamento não prejudica seus resultados de pesquisa tradicionais”

Se você perder essas quatro condições, o Cloudflare tratará o rastreador como opaco, e opaco significa bloqueado em todos os sites que definirem o Treinamento como não permitido.

Nenhuma empresa é mencionada em nenhum lugar dessa lista. As condições dois e quatro descrevem o Google.

Condição quatro que o Google já atende. A documentação do rastreador, atualizada pela última vez em 14 de julho de 2026, diz que o Google-Extended controla se o conteúdo rastreado treina modelos Gemini e fundamenta suas respostas, e que “não afeta a inclusão de um site na Pesquisa Google nem é usado como um sinal de classificação na Pesquisa Google”. Essa é a declaração pública que a condição quatro exige, segundo o próprio Google.

A condição dois é aquela para a qual o Google não tem resposta. Ele pede uma maneira de cancelar os resumos de IA, e a documentação do Google sobre recursos de IA diz que os controles são “nosnippet, data-nosnippet, max-snippet ou noindex”, cada um dos quais limita o que a Pesquisa mostra em todos os lugares. A mesma página define a regra que torna as duas inseparáveis: para ser mostrada como um link de apoio em uma visão geral da IA, “uma página deve ser indexada e qualificada para ser mostrada na Pesquisa Google com um snippet”. Um interruptor governa ambos. Não há nenhuma configuração que tire você das visões gerais de IA e deixe seus snippets de pesquisa comuns em paz, e a documentação do rastreador do Google não menciona as visões gerais de IA em nenhum lugar.

A Microsoft respondeu à condição dois em setembro de 2023. O conteúdo marcado como NOARCHIVE “não será incluído nas respostas do Bing Chat” e tal conteúdo “ainda aparecerá em nossos resultados de pesquisa”. O conteúdo fica fora da resposta e permanece no índice. A pergunta é razoável e fácil de atender. A postagem de julho de 2026 da Cloudflare sobre opções de tráfego de IA nomeia o BingBot junto com o Googlebot como os rastreadores de uso misto que essas condições governam.

Portanto, a Cloudflare, que está presente em grande parte da web, escreveu qual divulgação espera das empresas de IA e anexou o bloqueio à resposta. Isso me parece justo. Mas os termos foram escritos por um fornecedor, a aplicação é da rede desse fornecedor, e os sites que fazem o bloqueio clicam principalmente em um botão no painel e nunca veem as condições associadas a ele.

A questão de responsabilidade que os editores têm feito sobre as empresas de IA agora aponta também para a Cloudflare.

Cloudflare afirma que a sincronização de preferências de bot estará ativada por padrão para novos clientes

Em 15 de setembro, a Cloudflare altera os padrões para todos os novos domínios: Treinamento e Agente bloqueados nas páginas que exibem anúncios, Pesquisa deixada permitida. Até então, um novo cliente que não definir nada não receberá nenhum bloqueio, e a Cloudflare diz que “o ponto de partida não adicionará nenhum bloqueio em seu nome”.

Selecionar “Eu monetizo páginas com anúncios neste domínio” durante a integração define o Treinamento como Não permitido para você. Essa é uma pergunta sobre o seu modelo de negócios, e a resposta se torna uma posição publicada sobre treinamento em IA em seu robots.txt.

Em relação às inadimplências, geralmente minha posição permanece inalterada: não vá atrás delas sem saber o que elas fazem. Os sites em risco são aqueles que nunca mais abrem o robots.txt e nunca leem a posição escrita para eles. Eles terão uma política sobre treinamento em IA que não escreveram, não podem ver e, de qualquer maneira, não poderiam ter expressado em três ambientes.

Cada padrão é aceito por pessoas que nunca o veem, incluindo o Cloudflare. A Cloudflare já escreve seu script analítico em sites de plano gratuito, a menos que você desista, o que seu próprio blog anunciou em setembro de 2025 e um tópico do Hacker News de agosto de 2026 redescobriu. O mesmo padrão ativado agora chega ao robots.txt, um arquivo que as pessoas abrem com ainda menos frequência do que uma página de configurações.

Robots.txt interrompe os rastreadores que desejam ser interrompidos e nada mais

Uma regra robots.txt interrompe um rastreador que opta por ser interrompido e não faz nada com aquele que não o faz. O Bot Preference Sync fará com que algumas pessoas se sintam protegidas.

O arquivo é uma solicitação, e uma solicitação só funciona nos bem comportados. Eu medi o outro tipo em meu próprio site: o maior rastreador de IA em meus registros estava procurando credenciais, solicitando /.env e chaves SSH sob o nome de um arquivo de pesquisa sem fins lucrativos. Nenhuma linha em um arquivo de texto iria incomodar isso.

Portanto, o Bot Preference Sync é genuinamente útil para a metade honesta da Internet, que é a metade real. A fiscalização ainda é o limite. O arquivo é a documentação da intenção, que importa mais tarde, em uma disputa, e não no momento da chegada da solicitação.

Compare seu Robots.txt com as políticas do AI Bot da Cloudflare antes que a sincronização de preferências do bot chegue até você

Três verificações levam cerca de 10 minutos e informam se o Bot Preference Sync mudaria o que seu site publica.

Leia seu robots.txt, incluindo as partes que você escreveu em 2023. Em seguida, abra Configurações de segurança, Configure políticas de bot de IA e compare. Se esses dois discordarem, você terá a incompatibilidade que eu tive e poderá decidir quem resolve isso.

Depois decida se as três categorias podem expressar o que você deseja. Se sua política for “aberta a todos” ou “fechada para treinamento”, eles podem, e o Bot Preference Sync economizará um trabalho que você não deveria ter que fazer manualmente. Se sua política for por empresa, eles não poderão, e a atitude honesta é desativar a sincronização e manter o arquivo você mesmo.

Quando o Bot Preference Sync chegar ao seu site, veja o que ele escreveu. Um arquivo de política que você não leu é uma declaração que outra pessoa está fazendo em seu nome.

Mais recursos:

Este post foi publicado originalmente no No Hacks.

Imagem em destaque: PeopleImages/Shutterstock