O Google está lutando contra o rastreamento SERP. Agentes de IA podem piorar as coisas

O Google está entrando em uma nova fase de eliminação de SERP devido aos agentes de IA. Parte disso pode ser impulsionada por redes de LLMs que fazem engenharia reversa dos resultados de pesquisa do Google. A face pública da guerra do Google contra a raspagem continua sendo os rastreadores de classificação, mas a verdadeira batalha pode estar em outro lugar.

A capacidade de rastrear classificações se tornará uma coisa do passado?

Expansão massiva do tráfego de agentes de IA

O que pode ser a razão por trás das ações do Google para interromper o rastreamento de classificação é que a quantidade de tráfego do agente de IA cresceu exponencialmente. De acordo com a Cloudflare, que está em posição de monitorar o tráfego da web, o tráfego do site do agente de IA aumentou 1.700% no ano passado.

Um artigo recente da Cloudflare explicou:

“No final de 2024, a Cloudflare processava uma média de 63 milhões de solicitações HTTP por segundo. Hoje, esse número quase dobrou, para 115 milhões, com picos acima de 150 milhões. No ano passado, as solicitações diárias de agentes de IA em nossa rede cresceram mais de 1.700%. Este ano, pela primeira vez, mais da metade do tráfego da Internet não era humano.”

O problema com o tráfego da web do agente de IA é que parte dele é uma visita híbrida de humano/agente, agentes trabalhando em nome de humanos, o que significa que parte dele ainda tem valor para sites, algo que o Google já pode ter considerado ao formular respostas de engenharia para classificar rastreadores.

A pesquisa de IA do Google é mais cara de produzir

O problema para o Google é que uma grande quantidade de tráfego pode causar problemas de latência na veiculação de resultados de pesquisa, incluindo resultados de pesquisa de IA. Este é um problema maior para palavras-chave que acionam resultados de pesquisa baseados em IA porque são computacionalmente mais caros de gerar.

A pesquisa regular classifica sites pré-indexados associados a várias consultas. Os resultados de pesquisa derivados de IA incluem inferência LLM sobre múltiplas consultas, o que significa que cada vez que um usuário faz uma pergunta, o LLM gera múltiplas consultas associadas, além de várias etapas de raciocínio, antes de responder com um resumo sintetizado de todas as fontes.

O modo AI é inerentemente mais caro em termos computacionais do que a pesquisa tradicional, e é por isso que o Google está reduzindo agressivamente seu custo de IA por consulta à medida que o uso aumenta por meio de melhorias em LLMs, hardware e otimizações de engenharia.

Sundar Pichai, do Google, comentou várias vezes sobre os esforços do Google para reduzir os custos de pesquisa por consulta na teleconferência de ganhos do segundo trimestre. O custo das consultas de IA foi tão importante que mereceu múltiplas menções:

“Ontem anunciamos novos modelos – Gemini 3.6 Flash e Gemini 3.5 Flash-Lite – que são econômicos e altamente eficientes. Estamos vendo muita demanda por nossa série Gemini Flash, porque ela atinge o ponto ideal de desempenho e custo.

À medida que atendemos mais dessas consultas, continuamos a aumentar a eficiência. Graças às nossas otimizações de engenharia e hardware, neste trimestre reduzimos o custo das respostas do Modo IA ao seu nível mais baixo desde o lançamento, ao mesmo tempo que trouxemos recursos de IA mais avançados.”

O alto custo por consulta da pesquisa orientada por IA é um problema real. As consultas do AI Search são computacionalmente mais caras para atender e o tráfego do agente de IA pode afetar a latência dos resultados da pesquisa. O Google pode muito bem ter adotado uma abordagem mais adversária para o rastreamento automatizado de classificação, a fim de melhorar o cálculo do custo por consulta.

Redes de conteúdo adversário gerado por IA

O Google publicou vários artigos de pesquisa focados em conteúdo gerado por IA. Os documentos fazem alusão a invasores que alteram seu conteúdo em resposta às reações do Google, a fim de desbloquear classificações. O núcleo para desbloquear classificações é rastrear os resultados de pesquisa do Google. Embora os artigos de pesquisa não mencionem a destilação, o processo de engenharia reversa de um LLM através dos resultados, os poucos detalhes que o artigo de pesquisa compartilha implicam que é contra isso que o Google está realmente lutando.

Leia sobre esses artigos de pesquisa:

O Google implantou um novo detector de spam de IA chamado SAFE

Sistema escalonável de terminação de cluster do Google (S-CTS)

Efeito de notificação de SEOs no rastreamento de classificação

Ryan Jones (perfil do LinkedIn), desenvolvedor do serviço SERPrecon, extrai palavras-chave do concorrente e dados históricos de pesquisa que informam sua análise de palavras-chave para otimização de conteúdo. Como principal responsável por esta ferramenta, ele é uma fonte confiável de informações sobre rastreamento de classificação.

Jones twittou recentemente:

“Estamos chegando ao ponto em que ninguém mais terá rastreamento de classificação por causa da quantidade absurda de destruição de IA que está acontecendo.”

Jones ofereceu a seguinte resposta à sugestão irônica de alguém para nós, IA, rasparmos os resultados da pesquisa (SERPs):

“é por isso que os rastreadores de classificação estão falhando. O Google está bloqueando todos os rastreadores de IA E a própria IA… e os rastreadores de classificação estão sendo pegos”

Conclusões

Engenharia reversa do algoritmo de pesquisa do Google

Algo que não foi mencionado pelo Google e não é discutido com frequência é que a razão pela qual o Google está desencorajando o rastreamento de classificação é que os dados podem ser usados ​​para entender o resultado da classificação do Google para construir um modelo de IA que pode reproduzir os resultados de pesquisa do Google por meio de um processo chamado destilação.

Pode muito bem ser que as ações adversárias de rastreamento anti-classificação do Google sejam principalmente uma tentativa de impedir que as empresas façam engenharia reversa nos resultados de pesquisa do Google.

O rastreamento SERP distorce dados de palavras-chave

As decisões do Google são tomadas com base em dados e um dos problemas dos rastreadores de classificação é o aumento do custo por consulta. Outro problema é que os rastreadores de classificação distorcem os dados reais do inventário de palavras-chave. A inflação do inventário de palavras-chave é um problema antigo que antecede a era dos agentes de IA, que remonta aos primeiros dias do SEO. Mas o que está acontecendo hoje é um aumento massivo que provavelmente distorce as métricas de cliques e tráfego do Google.

Perguntas a serem feitas

O rastreamento automatizado baseado em IA em nome de humanos e a pesquisa de IA surgiram na web. O Google tem que responder à coleta automatizada de resultados de pesquisa. Ryan Jones diz que as duas tendências estão conectadas.

• Os esforços do Google para impedir a raspagem agressiva de IA, fazendo com que o rastreamento de classificação chegue a um ponto em que pode se tornar insustentável?
• A outra pergunta que tenho é quanto das ações contraditórias do Google visam evitar a engenharia reversa dos resultados de pesquisa do Google?

Imagem em destaque por Shutterstock/Microba Grandioza