Google pode expandir lista de regras Robots.txt não suportadas
O Google pode expandir a lista de regras de robots.txt não suportadas em sua documentação com base na análise de dados reais de robots.txt coletados por meio do arquivo HTTP.
Gary Illyes e Martin Splitt descreveram o projeto no último episódio de Search Off the Record. O trabalho começou depois que um membro da comunidade enviou uma solicitação pull ao repositório robots.txt do Google propondo que duas novas tags fossem adicionadas à lista de não suportadas.
Illyes explicou por que a equipe ampliou o escopo além das duas tags no PR:
“Tentamos não fazer as coisas arbitrariamente, mas sim coletar dados.”
Em vez de adicionar apenas as duas tags propostas, a equipe decidiu analisar as 10 ou 15 regras não suportadas mais usadas. Illyes disse que o objetivo era “um ponto de partida decente, uma linha de base decente” para documentar as tags não suportadas mais comuns no mundo.
Como funcionou a pesquisa
A equipe usou o HTTP Archive para estudar quais regras os sites usam em seus arquivos robots.txt. O HTTP Archive executa rastreamentos mensais em milhões de URLs usando WebPageTest e armazena os resultados no Google BigQuery.
A primeira tentativa atingiu uma parede. A equipe “descobriu rapidamente que ninguém está realmente solicitando arquivos robots.txt” durante o rastreamento padrão, o que significa que os conjuntos de dados do arquivo HTTP normalmente não incluem conteúdo robots.txt.
Após consultar Barry Pollard e a comunidade HTTP Archive, a equipe escreveu um analisador JavaScript personalizado que extrai regras do robots.txt linha por linha. A métrica personalizada foi mesclada antes do rastreamento de fevereiro, e os dados resultantes agora estão disponíveis no conjunto de dados custom_metrics no BigQuery.
O que os dados mostram
O analisador extraiu todas as linhas que correspondiam a um padrão campo-valor-dois pontos. Illyes descreveu a distribuição resultante:
“Depois de permitir e proibir e do agente do usuário, a queda é extremamente drástica.”
Além desses três campos, o uso de regras cai em uma longa cauda de diretivas menos comuns, além de dados inúteis de arquivos quebrados que retornam HTML em vez de texto simples.
Atualmente, o Google oferece suporte a quatro campos em robots.txt. Esses campos são agente do usuário, permitir, proibir e mapa do site. A documentação diz que outros campos “não são suportados” sem listar quais campos não suportados são mais comuns.
O Google esclareceu que os campos não suportados são ignorados. O projeto atual amplia esse trabalho identificando regras específicas que o Google planeja documentar.
Espera-se que as 10 a 15 regras mais usadas além dos quatro campos suportados sejam adicionadas à lista de regras não suportadas do Google. Illyes não mencionou regras específicas que seriam incluídas.
A tolerância a erros de digitação pode se expandir
Illyes disse que a análise também revelou erros ortográficos comuns da regra de proibição:
“Provavelmente irei expandir os erros de digitação que aceitamos.”
Sua frase implica que o analisador já aceita alguns erros ortográficos. Illyes não se comprometeu com um cronograma nem nomeou erros de digitação específicos.
Por que isso é importante
O Search Console já apresenta algumas tags robots.txt não reconhecidas. Se o Google documentar mais diretivas sem suporte, isso poderá fazer com que sua documentação pública reflita mais de perto as tags não reconhecidas que as pessoas já veem no Search Console.
Olhando para o futuro
A atualização planejada afetaria a documentação pública do Google e como os erros de digitação são tratados. Qualquer pessoa que mantenha um arquivo robots.txt com regras além de user-agent, permitir, proibir e mapa do site deve auditar as diretivas que nunca funcionaram para o Google.
Os dados do arquivo HTTP podem ser consultados publicamente no BigQuery para qualquer pessoa que queira examinar a distribuição diretamente.
Imagem em destaque: captura de tela de: YouTube.com/GoogleSearchCentral, abril de 2026.
