O novo visitante da web acaba de ganhar uma identidade

O novo visitante da web acaba de ganhar uma identidade


Em 20 de março de 2026, o Google adicionou discretamente uma nova entrada à sua lista oficial de buscadores da web. Não é um rastreador. Não é um bot de treinamento. Um agente.

Google-Agent é a string do agente do usuário para sistemas de IA executados na infraestrutura do Google que navegam em sites em nome dos usuários. Quando alguém pede a um assistente de IA para pesquisar um produto, preencher um formulário ou comparar opções entre sites, o Google-Agent é quem realmente visita a página. O Project Mariner, a ferramenta experimental de navegação de IA do Google, é o primeiro produto a utilizá-lo.

Este não é o Googlebot. O Googlebot rastreia a web continuamente, indexando páginas para pesquisa. O Google-Agent só aparece quando um humano solicita. Essa distinção muda tudo sobre como funciona.

Robots.txt não se aplica

O Google classifica o Google-Agent como um buscador acionado pelo usuário. A categoria inclui ferramentas como Google Read Aloud (conversão de texto em fala), NotebookLM (análise de documentos) e Feedfetcher (RSS). Todos eles compartilham uma propriedade: um humano iniciou a solicitação. A posição do Google é que os buscadores acionados pelo usuário “geralmente ignoram as regras do robots.txt” porque a busca foi solicitada por uma pessoa.

A lógica: se você digitar um URL no Chrome, o navegador buscará a página independentemente do que o robots.txt diz. O Google-Agent opera com o mesmo princípio. O agente é o proxy do usuário, não um rastreador autônomo.

Este é um desvio significativo de como OpenAI e Anthropic lidam com tráfego semelhante. ChatGPT-User e Claude-User funcionam como buscadores acionados pelo usuário, mas respeitam as diretivas do robots.txt. Se você bloquear o ChatGPT-User no robots.txt, o ChatGPT não buscará sua página quando um usuário solicitar que ela navegue. O Google fez uma ligação diferente.

Os proprietários de sites que dependiam do robots.txt como mecanismo universal de controle de acesso agora enfrentam uma lacuna. Se precisar restringir o acesso do Google-Agent, você precisará de autenticação no servidor ou controles de acesso. As mesmas ferramentas que você usaria para bloquear um visitante humano.

Identidade criptográfica: Web Bot Auth

O desenvolvimento mais significativo está enterrado em uma única linha da documentação do Google: Google-Agent está experimentando o web-bot-auth protocolo usando a identidade https://agent.bot.goog.

Web Bot Auth é um rascunho de padrão da IETF que funciona como um passaporte digital para bots. Cada agente possui uma chave privada, publica sua chave pública em um diretório e assina criptograficamente cada solicitação HTTP. O site verifica a assinatura e sabe, com certeza criptográfica, que o visitante é quem afirma ser.

As strings do agente do usuário podem ser falsificadas por qualquer pessoa. Autenticação do Web Bot não pode. A adoção desse protocolo pelo Google, mesmo que experimentalmente, sinaliza para onde a identidade do agente está indo. Akamai, Cloudflare e Amazon (navegador AgentCore) já oferecem suporte. O Google traz a massa crítica.

Isso é importante porque a web está prestes a ter um problema de identidade. À medida que o tráfego de agentes aumenta, os sites precisam distinguir entre agentes legítimos de IA que atuam em nome de usuários reais e scrapers que fingem ser agentes. A verificação de IP ajuda, mas as assinaturas criptográficas são melhor dimensionadas e são mais difíceis de falsificar.

O que isso significa para o seu site

O Google-Agent cria um modelo de visitante de três níveis para a web:

  1. Visitantes humanos navegando diretamente.
  2. Rastreadores indexação de conteúdo para busca e treinamento (Googlebot, GPTBot, Google-Extended).
  3. Agentes agindo em nome de humanos específicos em tempo real (Google-Agent, ChatGPT-User, Claude-User).

Cada camada tem regras de acesso diferentes, intenções e expectativas diferentes. Um rastreador deseja indexar seu conteúdo. Um agente deseja concluir uma tarefa. Pode ser ler a página de um produto, comparar preços, preencher um formulário de contato ou marcar um horário.

Aqui está o que fazer agora:

Monitore seus registros. O Google-Agent se identifica com uma string de agente do usuário contendo compatible; Google-Agent. O Google publica intervalos de IP para verificação. Comece a monitorar a frequência com que os agentes visitam, quais páginas eles acessam e o que tentam fazer.

Verifique suas regras de CDN e firewall. Se suas ferramentas de segurança bloquearem agressivamente o tráfego que não é do navegador, o Google-Agent poderá ser rejeitado antes de chegar ao seu servidor. Verifique se os intervalos de IP publicados pelo Google são permitidos.

Teste seus formulários e fluxos. O Google-Agent pode enviar formulários e navegar em processos de várias etapas. Se os seus formulários de checkout, reserva ou contato dependem de padrões JavaScript que confundem os sistemas automatizados, os visitantes do agente falharão silenciosamente. HTML semântico e rótulos claros continuam sendo a base.

Aceite que o robots.txt não é mais uma ferramenta completa de controle de acesso. Para conteúdo que você realmente precisa restringir, use autenticação. robots.txt foi projetado para rastreadores. A era dos agentes precisa de limites diferentes.

A Web Híbrida não está chegando. Está registrado

Há um ano, a ideia de que agentes de IA navegariam em sites ao lado de humanos era uma previsão de uma conferência. Hoje, ele possui uma string de agente de usuário, intervalos de IP publicados, um protocolo de identidade criptográfica e uma entrada na documentação oficial do Google.

A web não se dividiu em humano e máquina. Ele se fundiu. Cada página que você publica agora atende aos dois públicos simultaneamente, e o Google acaba de tornar possível ver exatamente quando o público não humano aparece.

Mais recursos:


Este post foi publicado originalmente no No Hacks.


Imagem em destaque: Summit Art Creations/Shutterstock



Source link

Postagens Similares

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *