Google explica por que URLs bloqueados por Robots.txt ainda podem ser indexados
John Mueller, do Google, respondeu a uma pergunta sobre a curiosa circunstância do Search Console relatar milhares de URLs como indexados, apesar de terem sido bloqueados pelo robots.txt. Mueller ajudou a explicar como isso acontece e o que fazer a respeito.
Conteúdo indexado apesar de bloqueado por Robots.txt
Um Redditor pediu conselhos porque o Google Search Console estava relatando mais de 51.000 páginas com o status “Indexado, embora bloqueado por robots.txt”. Os URLs afetados eram principalmente URLs de produtos WooCommerce contendo parâmetros de URL para adicionar ao carrinho, como “?add-to-cart=”.
Como o problema apareceu repentinamente, o proprietário do site questionou se as próprias regras do robots.txt eram responsáveis pela criação do problema. Eles também queriam saber se a remoção das regras ajudaria o Google a processar os sinais canônicos e eliminar os URLs relatados do Search Console.
A pessoa perguntou:
“Tenho um site WooCommerce e de repente, desde o mês passado, estamos enfrentando este problema: “Indexado, embora bloqueado por robots.txt”
há um total de “páginas afetadas de 51 mil páginas”
no final do URL vejo principalmente ?page&post_type=product&product=slug&add-to-cart=98063,
Depois de inspecionar esses URLs, descobri que eles têm configuração de tag de índice e o robots.txt tinha
* Proibir: /*?add-to-cart=
* Proibir: /*?*add-to-cart=Removi essas duas regras do robots.txt e espero que essas páginas sejam corrigidas porque têm conjunto canônico para corrigir o produto. Isso resolverá o problema?
ou devo também configurar regras noindex? isso nos causará nosso orçamento de rastreamento? é um site de woocommerce muito grande. Deixe-me saber a sua opinião, se alguém tiver experiência em resolver esse problema. e qual será o método certo sem evitar nosso SEO ou perda de funcionalidade.”
O Google afirma que os URLs de adição ao carrinho não precisam ser indexados
Mueller respondeu que os URLs de adição ao carrinho não precisam ser indexados e que bloqueá-los por meio do robots.txt é uma abordagem aceitável.
Ele explicou que mesmo quando o Google relata esses URLs como indexados, é improvável que eles apareçam nos resultados de pesquisa normais porque são bloqueados pelo robots.txt. De acordo com Mueller, os usuários geralmente não pesquisam esses URLs diretamente, o que os torna candidatos inadequados para visibilidade na pesquisa.
John Mueller respondeu:
“Você não precisa indexar os URLs de adição ao carrinho. Bloqueá-los com o robots.txt é bom. Mesmo que eles sejam “indexados”, já que são bloqueados pelo robots.txt, é improvável que eles sejam mostrados na pesquisa (a menos que você faça consultas específicas para esses URLs, o que os usuários não fazem).”
Estou meio em dúvida sobre o que Mueller disse sobre “robots.txt”, tornando “improvável” que os URLs sejam mostrados na Pesquisa. O motivo é porque o robots.txt não impede que uma página da web seja exibida na Pesquisa Google. Isso apenas impede que o Googlebot rastreie essas páginas. Então, tecnicamente, isso não é totalmente correto e estou um pouco surpreso que Mueller diga isso.
Noindex provavelmente não é uma solução
Um dos Redditors que respondeu a essa pergunta sugeriu a solução de adicionar uma tag noindex robots aos URLs parametrizados. Mas essa pode não ser uma solução viável porque as páginas com e sem parâmetros de URL são essencialmente a mesma coisa. Eles são renderizados usando o mesmo modelo para uma página específica. Portanto, a menos que o WooCommerce os trate de maneira diferente e possa renderizar os URLs parametrizados com noindex e a página normal sem noindex, essa não é uma solução real.
Por que o Google informa URLs indexados que não podem ser rastreados
Outro Redditor ofereceu uma possível explicação para o motivo pelo qual tantos URLs apareceram no Search Console. Eles sugeriram que o Google provavelmente descobriu links contendo os parâmetros adicionar ao carrinho em algum lugar do site e adicionou esses URLs aos seus sistemas.
Minha sugestão para a pessoa que fez essa pergunta originalmente é rastrear o site com o Screaming Frog, revisar os links internos para identificar de onde essas páginas estão sendo vinculadas e, em seguida, tomar alguma ação, como remover esses links ou adicionar um atributo de link rel=”nofollow” a eles.
Provavelmente, a melhor solução é usar o bloco robots.txt para evitar o rastreamento, desde que se entenda que isso é tudo que ele faz. Se a pessoa quiser ter mais certeza, ela também pode identificar onde existem esses links e então adicionar o atributo de link nofollow como uma camada extra, uma dica para o Google. Nofollow não é uma diretiva, mas é uma dica forte.
Os avisos do Search Console nem sempre indicam um problema de pesquisa
Um dos desafios recorrentes dos relatórios do Search Console é que eles podem expor condições técnicas que parecem angustiantes, mas que na verdade têm pouco ou nenhum efeito no desempenho da pesquisa. Por exemplo, os relatórios de erros 404 são úteis por vários motivos, mas muitas vezes uma resposta 404 do servidor é a resposta correta e não é realmente um “erro” que precise ser corrigido.
Remover
A resposta de Mueller reforça a conclusão de que nem todos os avisos do Search Console exigem ações para corrigir algo, embora neste caso específico possa haver algo para corrigir na forma de links internos para páginas da web que usam os parâmetros de URL do carrinho de compras. Se esses links com os parâmetros de URL do carrinho de compras forem absolutamente necessários, o uso de um atributo de link rel=”nofollow” dará ao Google uma forte dica para não seguir esse link. A alegria do SEO técnico!
Imagem em destaque da Shutterstock/Orange Line Media
