Google explica limites de bytes e arquitetura de rastreamento do Googlebot
Gary Illyes, do Google, publicou uma postagem no blog explicando como funcionam os sistemas de rastreamento do Googlebot. A postagem aborda limites de bytes, comportamento de busca parcial e como a infraestrutura de rastreamento do Google é organizada.
A postagem faz referência ao episódio 105 do podcast Search Off the Record, onde Illyes e Martin Splitt discutiram os mesmos tópicos. Illyes adiciona mais detalhes sobre a arquitetura de rastreamento e o comportamento em nível de byte.
O que há de novo
Googlebot é um cliente de uma plataforma compartilhada
Illyes descreve o Googlebot como “apenas um usuário de algo que se assemelha a uma plataforma de rastreamento centralizada”.
Google Shopping, AdSense e outros produtos enviam suas solicitações de rastreamento por meio do mesmo sistema com nomes de rastreadores diferentes. Cada cliente define sua própria configuração, incluindo string de agente de usuário, tokens robots.txt e limites de bytes.
Quando o Googlebot aparece nos registros do servidor, é a Pesquisa Google. Outros clientes aparecem com seus próprios nomes de rastreador, que o Google lista em seu site de documentação do rastreador.
Como funciona o limite de 2 MB na prática
O Googlebot busca até 2 MB para qualquer URL, exceto PDFs. PDFs têm um limite de 64 MB. Os rastreadores que não especificam um limite padrão são 15 MB.
Illyes adiciona vários detalhes sobre o que acontece no nível de byte.
Ele diz que os cabeçalhos de solicitação HTTP contam para o limite de 2 MB. Quando uma página excede 2 MB, o Googlebot não a rejeita. O rastreador para no ponto de corte e envia o conteúdo truncado para os sistemas de indexação do Google e para o Web Rendering Service (WRS).
Esses sistemas tratam o arquivo truncado como se estivesse completo. Qualquer coisa além de 2 MB nunca é buscada, renderizada ou indexada.
Cada recurso externo referenciado no HTML, como arquivos CSS e JavaScript, é obtido com seu próprio contador de bytes separado. Esses arquivos não contam para os 2 MB da página pai. Arquivos de mídia, fontes e o que o Google chama de “alguns arquivos exóticos” não são obtidos pelo WRS.
Renderizando após a busca
O WRS processa JavaScript e executa código do lado do cliente para compreender o conteúdo e a estrutura de uma página. Ele recebe solicitações de JavaScript, CSS e XHR, mas não solicita imagens ou vídeos.
Illyes também observa que o WRS opera sem monitoração de estado, limpando o armazenamento local e os dados da sessão entre as solicitações. A documentação de solução de problemas de JavaScript do Google cobre implicações para sites dependentes de JavaScript.
Melhores práticas para permanecer abaixo do limite
O Google recomenda mover CSS e JavaScript pesados para arquivos externos, pois eles têm seus próprios limites de bytes. Meta tags, tags de título, elementos de link, dados canônicos e dados estruturados devem aparecer em uma posição superior no HTML. Em páginas grandes, o conteúdo colocado mais abaixo no documento corre o risco de ficar abaixo do corte.
Illyes sinaliza imagens base64 inline, grandes blocos de CSS ou JavaScript inline e menus grandes como exemplos do que poderia levar as páginas a ultrapassar 2 MB.
O limite de 2 MB “não é imutável e pode mudar com o tempo à medida que a web evolui e as páginas HTML aumentam de tamanho”.
Por que isso é importante
O limite de 2 MB e o limite de 64 MB para PDF foram documentados pela primeira vez como números específicos do Googlebot em fevereiro. Os dados do arquivo HTTP mostraram que a maioria das páginas fica bem abaixo do limite. Esta postagem do blog adiciona o contexto técnico por trás desses números.
A descrição da plataforma explica por que diferentes rastreadores do Google se comportam de maneira diferente nos registros do servidor e por que o padrão de 15 MB difere do limite de 2 MB do Googlebot. Estas são configurações separadas para clientes diferentes.
Os detalhes do cabeçalho HTTP são importantes para páginas próximas do limite. O Google afirma que os cabeçalhos consomem parte do limite de 2 MB junto com os dados HTML. A maioria dos sites não será afetada, mas páginas com cabeçalhos grandes e marcações inchadas poderão atingir o limite mais cedo.
Olhando para o futuro
O Google agora cobriu os limites de rastreamento do Googlebot em atualizações de documentação, um episódio de podcast e uma postagem de blog dedicada em um período de dois meses. A observação de Illyes de que o limite pode mudar com o tempo sugere que esses números não são permanentes.
Para sites com páginas HTML padrão, o limite de 2 MB não é uma preocupação. Páginas com conteúdo inline pesado, dados incorporados ou navegação superdimensionada devem verificar se o conteúdo crítico está dentro dos primeiros 2 MB da resposta.
Imagem em destaque: Sergei Elagin/Shutterstock
