Google explica 503s, limites de Robots.txt e URLs de colchetes – SEO Pulse
Bem-vindo ao Pulse: esta semana, veremos como usar um 503 durante um breve período de inatividade do patch PHP, o que o robots.txt controla para rastreadores e agentes de IA e como o Google lida com URLs de colchetes e imagens JPEG XL.
Aqui está o que é importante para você e seu trabalho.
O Google diz que serve um 503 ao desativar sites para patches de PHP
Em uma postagem no LinkedIn em 21 de outubro, a Central de Pesquisa do Google lembrou a qualquer pessoa que colocasse servidores off-line para que patches PHP retornassem um código de status 503. A postagem foi publicada no dia em que o PHP lançou correções emergenciais para duas falhas críticas.
Principais fatos:
A postagem afirmava que 503 “garante que URLs já indexados sejam preservados na Pesquisa enquanto você trabalha” e evitava páginas de erro gerais 404 ou 200, e John Mueller do Google também compartilhou um lembrete no Bluesky dizendo que o 503 não precisa ser servido por meio de PHP. Em sua documentação sobre taxa de rastreamento, o Google aconselha os usuários a limitar a veiculação de códigos de status 503 a não mais do que 1 a 2 dias, pois eles podem retirar um URL de seu índice se ele retornar um 503 por vários dias.
Por que isso é importante
Se o seu site retornar um erro 503 devido ao tempo de inatividade causado por um patch do PHP, ele terá que ser acionado por meio de uma entidade que permaneça disponível (ou seja, durante o tempo em que seu PHP estiver indisponível), por exemplo, uma regra de roteamento CDN ou um servidor temporário para o qual seu DNS aponta. De acordo com o guia do Google para pausar um site, se você acionar um 503 em resposta às solicitações do robots.txt, todo o rastreamento será bloqueado.
Leia nossa cobertura completa: Google lembra sites para servir um 503 durante o tempo de inatividade do patch PHP
Illyes afirma que as regras padrão do Robots.txt cobrem o rastreamento, e não o uso posterior
Gary Illyes, do Google, declarou em um vídeo da Central de Pesquisa de 21 de outubro que, de acordo com a RFC 9309, as diretivas padrão do robots.txt (regras do robots.txt) determinam apenas quais rastreadores compatíveis podem rastrear. Essas diretivas não controlam como os sistemas usam o conteúdo após ele ser rastreado.
Principais fatos:
Illyes chamou o robots.txt de “um protocolo de preferência de acesso” e disse que manter um rastreador de IA afastado enquanto permite outros significa direcionar o token de agente do usuário desse rastreador. A lista de rastreadores comuns do Google documenta o Google-Extended como o token para gerenciar se o conteúdo que o Google rastreia pode ser usado para treinar futuros modelos Gemini e para fundamentar aplicativos Gemini e Vertex AI, e diz que o token não afeta a inclusão na Pesquisa Google. O Google-Extended não é um rastreador separado e não possui sua própria string de agente de usuário HTTP. Um rascunho que Illyes co-escreveu para a Força-Tarefa de Engenharia da Internet adicionaria uma regra de uso de conteúdo ao robots.txt para indicar preferências de uso, mas ainda é um documento de grupo de trabalho e não foi aprovado.
Por que isso é importante
Uma regra de proibição sob o token de um rastreador pode ajudar a manter esse rastreador longe dos caminhos listados. Para limitar como o Google usa conteúdo rastreado para Gemini, você pode usar o Google-Extended. Uma forma padrão de expressar uma preferência de treinamento separadamente do acesso de rastreamento está disponível apenas como rascunho.
Leia nossa cobertura completa: Illyes do Google: Robots.txt cobre rastreamento, não treinamento de IA
Cloudflare e OpenAI dizem que um piloto encontrou novas páginas para pesquisa ChatGPT
Cloudflare e OpenAI afirmam que um piloto de pesquisa ajudou a OpenAI a descobrir e indexar centenas de milhões de novas páginas da web, dando ao ChatGPT ainda mais informações para utilizar.
Principais fatos:
O piloto contou com um grupo participante de aproximadamente 1% da rede da Cloudflare por meio de sinais que auxiliam o rastreador OpenAI na identificação de páginas; ignorando páginas inexistentes e indicando se uma página foi atualizada. A postagem do blog de 15 de outubro (de coautoria de dois funcionários da OpenAI) afirma que encontrar novas páginas “pode inicialmente aumentar o rastreamento” e não relata a frequência com que essas páginas recém-identificadas são citadas, nem fornece dados sobre o número de visitas geradas a partir das páginas. Além disso, a postagem afirmava: “Um sinal sobre uma página não concede permissão para acessá-la”.
Por que isso é importante
A documentação do rastreador OpenAI é dividida por pesquisa versus treinamento. Um site pode usar entradas robots.txt como Allow for OAI-SearchBot e Disallow for GPTBot para informar ao rastreador que seu conteúdo não deve ser usado para fins de treinamento. Como o OpenAI classifica as páginas por conta própria, diz o post, só porque seu site foi encontrado por meio do piloto não significa que você receberá uma citação.
Leia nossa cobertura completa: A pesquisa ChatGPT pode atrair mais páginas após um piloto Cloudflare
Colchetes brutos e codificados são URLs diferentes, afirma Mueller
Colchetes em um URL e suas formas codificadas por porcentagem,% 5B e% 5D, criam URLs diferentes, disse John Mueller do Google no Bluesky em 19 de outubro. Ele acrescentou que teria assumido que eram equivalentes e “provavelmente deu às pessoas a resposta errada sobre isso no passado”.
Principais fatos:
Mueller referiu-se ao RFC 3986 (o padrão de sintaxe URI, que reserva colchetes e sinais de adição), bem como observou que se um site retornasse o mesmo conteúdo em resposta a qualquer versão do formato de URL, Mueller afirmou que o Google rastrearia cada um e eliminaria as duplicatas e então selecionaria um. Mueller ofereceu uma solução, afirmando “escolha uma”, e recomendou usá-la de forma consistente em todas as páginas, incluindo links, tags canônicas, entradas de mapa do site e dados estruturados. Isso é consistente com a documentação existente do Google sobre estrutura de URL, que afirma que os caracteres reservados devem ser codificados em porcentagem.
Por que isso é importante
Quando links e tags canônicas misturam formas brutas e codificadas, o Google pode ter que decidir qual versão manter. Se o seu site existente usar colchetes brutos, Mueller disse que espera que ele continue funcionando, embora “não criaria um novo site como este”.
Leia nossa cobertura completa: Google rastreia URLs de colchetes brutos e codificados separadamente
JPEG XL não é compatível com imagens do Google ou visualizações do Discover
Atualmente, imagens JPEG XL não são suportadas no Imagens do Google ou como visualizações no Discover, como John Mueller do Google compartilhou no Bluesky em 15 de outubro.
Principais fatos:
Sua postagem seguiu o suporte a JPEG XL no Chrome 155, que o Google começou a lançar amplamente em 6 de outubro, e no Firefox 158 em 13 de outubro. A documentação de SEO de imagens do Google lista BMP, GIF, JPEG, PNG, WebP, SVG e AVIF como formatos suportados para imagens no atributo src de um elemento img e não incluía JPEG XL em 22 de outubro. elemento img, “então isso funcionaria para qualquer mecanismo de pesquisa”.
Por que isso é importante
Servir JPEG XL como fonte de imagem, com um arquivo JPEG, WebP ou AVIF no elemento img, mantém um formato compatível no atributo src, onde a documentação do Google diz que a Pesquisa lê imagens. O guia Discover do Google aponta para a marcação og:image e schema.org para imagens de visualização, portanto, elas também devem apontar para um dos formatos listados.
Leia nossa cobertura completa: Imagens do Google e visualizações do Discover não suportam JPEG XL
Pichai espera que agentes de IA alcancem sites navegando e por meio de protocolos
Em uma entrevista com Alex Heath no podcast Sources, o CEO do Google, Sundar Pichai, compartilhou que espera que os agentes de IA acessem sites navegando nas páginas como as pessoas fazem e por meio de protocolos projetados especificamente para agentes.
Principais fatos:
“Acho que você tem os dois caminhos e eles vão se desenvolver”, disse Pichai. Ele destacou o impulso por trás dos protocolos de agentes e de pagamento, incluindo o Protocolo de Comércio Universal apoiado pelo Google. Ele chamou os protocolos de “uma abordagem muito mais escalável”, mas disse que espera que demorem mais para serem desenvolvidos. Mais tarde na entrevista, ele disse que espera que os agentes forneçam uma experiência unificadora no Search e no Gemini.
Por que isso é importante
Pelo relato de Pichai, os agentes que navegam nas páginas da mesma forma que as pessoas permanecem em cena enquanto os protocolos se desenvolvem. Os próprios agentes hospedados do Google navegam como Google-Agent, um dos buscadores acionados pelo usuário que, segundo o Google, geralmente ignora as regras do robots.txt.
Leia nossa cobertura completa: Pichai afirma que os agentes de IA clicarão nas páginas e usarão protocolos e o CEO do Google, Sundar Pichai, vê a pesquisa absorvida pela camada agente
Tema da semana: O que cada sinal alcança
Cada uma das histórias desta semana trata de um sinal que os rastreadores e agentes recebem sobre um site e onde eles podem chegar. Um 503 sinaliza ao Google que a interrupção é apenas temporária (dentro do período recomendado para interrupções na documentação do Google). Uma diretiva de rastreamento não permitida impede que rastreadores compatíveis rastreiem o conteúdo de suas páginas, mas como ela será usada posteriormente depende de controles como Google-Extended e GPTBot. No entanto, um sinal de descoberta da Cloudflare não fornece permissão da OpenAI para acessar sua página da web. Se o Google visualiza sua página em um ou dois URLs depende de você misturar colchetes brutos e codificados. Atualmente, um arquivo de imagem JPEG XL contido no elemento img não pode ser visualizado pelo Imagens do Google. Os agentes que buscam com base na entrada do usuário caem em uma área parcialmente fora do robots.txt, conforme definido pelo Google em relação aos buscadores acionados pelo usuário. Os logs do servidor rastreiam qual rastreador está fazendo solicitações ao seu servidor; entretanto, os rastreadores específicos e quais controles regem o rastreamento e uso posterior são explicados na documentação de cada empresa respectiva.
Principais notícias da semana:
Mais recursos:
Imagem em destaque: Elenco de Milhares/Shutterstock
