O rastreamento 404 significa que o Google está aberto a mais do seu conteúdo

John Mueller, do Google, respondeu a uma pergunta sobre o Search Console e o relatório de erros 404, sugerindo que o rastreamento repetido de páginas com código de status 404 é um sinal positivo.

Código de status 404

O código de status 404, muitas vezes chamado de código de erro, há muito tempo confunde muitos proprietários de sites e SEOs porque a palavra “erro” implica que algo está quebrado e precisa ser consertado. Mas esse não é o caso.

404 é simplesmente um código de status que um servidor envia em resposta à solicitação de uma página do navegador. 404 é uma mensagem que comunica que a página solicitada não foi encontrada. A única coisa errada é a própria solicitação porque a página não existe.

Embora normalmente referido como erro 404, tecnicamente o nome formal é 404 Not Found. Esse nome reflete com precisão o significado do código de status 404: a página solicitada não foi encontrada.

Captura de tela do padrão oficial da Web para código de status 4o4

O Google continua rastreando páginas 404

Alguém no Reddit postou que o Google Search Console continua relatando que páginas que não existem mais continuam sendo encontradas por meio de dados do mapa do site, apesar do mapa do site não listar mais as páginas ausentes.

A pessoa afirma que o Search Console está rastreando as páginas ausentes, mas na verdade é o Googlebot que as está rastreando; O Search Console está apenas relatando as falhas nos rastreamentos.

Eles estão preocupados com o desperdício de orçamento de rastreamento e querem saber se deveriam enviar um código de resposta 410.

Eles escreveram:

“O Google Search Console ainda está rastreando um monte de páginas inexistentes que retornam 404. Na ferramenta de inspeção de página e nas estatísticas de rastreamento, diz que elas são “descobertas por meio” de minha página-sitemap.xml.

O problema:

Quando abro o page-sitemap.xml real no navegador agora, nenhum desses 404 URLs está nele.

O mapa do site contém apenas 21 páginas boas e ativas.

…Não quero excluir ou parar de enviar o mapa do site porque ele está limpo e aponta apenas para páginas boas. Mas esses rastreamentos repetidos estão desperdiçando o orçamento de rastreamento.

Alguém já se deparou com isso antes?

O Google eventualmente para por conta própria?

Devo mudar o 404 para 410 Gone?

Ou há outra maneira de dizer ao GSC “ei, isso acabou para sempre”?”

Sobre os rastreamentos de páginas 404 do Google

O Google tem uma prática antiga de rastrear páginas 404 apenas no caso de essas páginas serem removidas acidentalmente e restauradas. Como você verá em breve, John Mueller do Google indica fortemente que o rastreamento repetido de páginas 404 indica que os sistemas do Google podem considerar o conteúdo de uma maneira positiva.

Sobre a resposta de página 404 não encontrada

A definição padrão oficial da web do código de status 404 é que o recurso solicitado não foi encontrado e pronto, nada mais. Esta resposta não indica que a página nunca retornará. Significa simplesmente que a página solicitada não foi encontrada.

Sobre a resposta 410 Gone

O padrão oficial da web para o código de status 410 é que a página desapareceu e que o estado de desaparecimento provavelmente é permanente. O objetivo da resposta é comunicar que os recursos foram eliminados intencionalmente e que quaisquer links para esses recursos devem ser removidos.

O Google lida essencialmente com 404 e 410 da mesma forma

Tecnicamente, se uma página da web desaparecer permanentemente e nunca mais voltar, 410 é a mensagem correta do servidor a ser enviada em resposta às solicitações da página perdida. Na prática, o Google trata a resposta 410 praticamente da mesma forma que trata a resposta 404 do servidor. Semelhante à forma como trata as respostas 404, os rastreadores do Google ainda podem retornar para verificar se a página de resposta 410 desapareceu.

Os Googlers têm dito consistentemente que a resposta do servidor 410 é um pouco mais rápida na eliminação de uma página do índice do Google.

Google confirma fatos sobre os códigos de resposta 404 e 410

Mueller do Google respondeu com uma resposta curta, mas repleta de informações, que explicava que os erros 404 relatados no Search Console não são um problema que precisa ser corrigido, que o envio de uma resposta 410 não fará diferença nos relatórios 404 do Search Console e que uma abundância de URLs nesse relatório pode ser vista de forma positiva.

Muller respondeu:

“Isso não causa problemas, então eu simplesmente os deixaria em paz. Eles serão rastreados novamente por um longo tempo, potencialmente, um 410 não mudará isso. De certa forma, isso significa que o Google não teria problema em coletar mais conteúdo do seu site.”

Mal-entendidos sobre as respostas do servidor 4XX

A discussão no Reddit continuou. O moderador do subreddit r/SEO sugeriu que o motivo pelo qual o Search Console relata que descobriu o URL no mapa do site é porque foi onde o Googlebot descobriu originalmente o URL, o que parece razoável.

O moderador errou ao explicar o que significa o código de resposta 404.

O moderador explicou incorretamente:

“404 significa essencialmente – página quebrada, vamos consertar em breve, verifique novamente: e é isso que o Google está fazendo – verificar novamente para ver se você corrigiu.”

O moderador comete dois erros em sua resposta.

1. 404 significa página não encontrada
O código de status 404 significa apenas que a página não foi encontrada, ponto final. Não acredite em mim? Aqui está o padrão oficial da web para o código de status 404:

“O código de status 404 (Não encontrado) indica que o servidor de origem não encontrou uma representação atual para o recurso de destino ou não está disposto a divulgar que existe. Um código de status 404 não indica se essa falta de representação é temporária ou permanente…”

2. 404 não é um erro que precisa ser corrigido
As pessoas geralmente se referem ao código de status 404 como uma resposta de erro. A razão de ser um erro é porque o navegador ou rastreador solicitou uma URL que não existe, o que significa que a solicitação foi o erro, e não que a página precise de conserto, como insistiu o moderador quando disse “404 significa essencialmente – página quebrada”, o que é 100% incorreto.

Além disso, o moderador do Reddit errou ao insistir que o Google está “verificando novamente para ver se você corrigiu o problema”. O Google está verificando se a página desapareceu por acidente, mas isso não significa que o 404 seja algo que precise ser consertado. Na maioria das vezes, uma página supostamente desapareceu por um motivo, e o Google recomenda servir um código de resposta 404 para esses momentos.

Isso não é novo

Não se trata de as informações do moderador do Reddit estarem desatualizadas. Sempre foi assim com o Google, que geralmente segue os padrões oficiais da web.

Matt Cutts, do Google, explicou como o Google lida com os erros 404 e por que em um vídeo de 2014:

“Acontece que os webmasters dão tiros no próprio pé com frequência. Páginas desaparecem, as pessoas configuram sites incorretamente, os sites ficam fora do ar, as pessoas bloqueiam o Googlebot por acidente, as pessoas bloqueiam usuários regulares por acidente. Então, se você olhar para toda a web, a equipe de rastreamento precisa ser robusta contra isso.

Então, com os 404s… vamos proteger essa página por vinte e quatro horas no sistema de rastreamento. Então, esperamos e dizemos, bem, talvez tenha sido um 404 transitório. Talvez não fosse realmente uma página não encontrada. E assim, no sistema de rastreamento, ele ficará protegido por vinte e quatro horas.

… Agora, não leve isso a mal, ainda vamos voltar e verificar novamente e ter certeza de que essas páginas realmente desapareceram ou talvez as páginas tenham voltado à vida novamente.

…E então, se uma página sumir, não há problema em veicular um 404. Se você sabe que ela sumiu de verdade, não há problema em veicular um 410.

Mas projetaremos nosso sistema de rastreamento para tentar ser robusto. Mas se o seu site cair, ou se você for hackeado ou algo assim, tentamos garantir que ainda possamos encontrar o bom conteúdo sempre que estiver disponível.

As conclusões

• O rastreamento do Googlebot para páginas 404 pode ser visto como um sinal positivo de que o Google gosta do seu conteúdo.
• Os códigos de status 404 não significam que uma página esteja com erro; isso significa que uma página não foi encontrada.
• Os códigos de status 404 não significam que algo precise ser consertado. Significa apenas que a página solicitada não foi encontrada.
• Não há nada de errado em servir um código de resposta 404; O Google recomenda isso.
• O Search Console mostra respostas 404 para que o proprietário do site possa decidir se essas páginas foram ou não removidas intencionalmente.

Imagem em destaque por Shutterstock/Jack_the_sparow