O Google está testando um novo padrão de autorização de bot

O Google está testando o Web Bot Auth, um protocolo experimental desenvolvido para ajudar os sites a verificar se o tráfego automatizado realmente vem do bot ou serviço que afirma representar. O novo protocolo pode oferecer aos proprietários de sites uma maneira confiável de separar o tráfego automatizado legítimo de bots que ocultam ou deturpam quem eles são.

Uma nova página de suporte ao desenvolvedor foi publicada com informações sobre como verificar solicitações com o protocolo Web Bot Auth, que está atualmente em fase experimental.

Em que se baseia a autenticação do Web Bot do Google

O novo protocolo é tecnicamente chamado de Diretório de Assinaturas de Mensagens HTTP. É uma proposta de padrão técnico projetada para automatizar a confiança entre serviços da web. Ele ajuda os sites a reconhecer serviços automatizados verificados sem exigir que cada lado troque manualmente as chaves de segurança com antecedência.

A ideia básica é semelhante a fornecer aos serviços automatizados verificados uma forma padronizada de apresentar credenciais. Em vez de depender apenas de nomes, strings de agente de usuário ou configurações privadas entre empresas, o protocolo oferece aos sites uma maneira repetível de verificar se uma solicitação automatizada pode ser verificada. Isso é importante porque muitos bots podem alegar ser algo que não são. O Web Bot Auth não decide se um bot é bom ou ruim, mas pode dar aos proprietários de sites um sinal mais forte sobre se o bot é realmente o serviço que afirma ser.

Uma maneira confiável de identificar bots

A parte criptográfica é importante porque torna a identidade mais difícil de falsificar. Hoje, um bot desonesto pode alegar ser um rastreador legítimo copiando um nome ou uma string de agente de usuário. O Web Bot Auth foi projetado para ir além desse tipo de autoidentificação, oferecendo aos sites uma maneira de verificar se uma solicitação automatizada corresponde às credenciais criptográficas do serviço.

Sob este protocolo, um bot precisaria de mais do que um rótulo dizendo quem é. Seria necessário provar essa identidade de uma forma que um site pudesse validar. Isso poderia dar aos proprietários de sites uma base segura para permitir serviços automatizados verificados e, ao mesmo tempo, bloquear bots que não conseguem provar quem são. O protocolo não decide automaticamente quais bots devem ser permitidos ou bloqueados, mas pode dar aos sites um sinal mais confiável para tomar essa decisão.

A verificação criptográfica é o que torna o Web Bot Auth melhor do que os métodos atuais de identificação de bots. Em vez de confiar em sinais que podem ser deturpados, oferece aos sites uma forma de verificar solicitações automatizadas. Isso significa que o reconhecimento se baseia menos no que um bot diz sobre si mesmo e mais na possibilidade de sua identidade ser confirmada por credenciais criptográficas.

Advertência: está em fase experimental

O protocolo proposto tornará possível distinguir entre bots desonestos que se fazem passar por rastreadores confiáveis ​​e bots genuínos de serviços confiáveis. Este protocolo é como uma lista de permissões do que é permitido, o que pode facilitar o isolamento de rastreadores não confiáveis.

No entanto, por se tratar de uma fase experimental, a “lista branca” atualmente só se aplica a um subconjunto de tráfego, como o Google-Agent. O Google “ainda não está assinando todas as solicitações”, portanto, a falta de uma assinatura não significa automaticamente que um bot seja desonesto. Os proprietários de sites são aconselhados a continuar usando endereços IP e DNS reverso junto com o protocolo para evitar bloquear acidentalmente o tráfego legítimo que ainda não foi migrado.

O que isso faz

O novo padrão substitui a configuração manual entre sites e bots, rastreadores e outros serviços automatizados por um processo de descoberta em três etapas:

• Arquivos-chave padronizados:
  As chaves são armazenadas em um formato comum, JSON Web Key Set (JWKS), que todos os servidores podem ler.
• Endereços conhecidos:
  Ele define uma “casa” específica em um site (/.well-known/) onde essas chaves são sempre mantidas.
• Solicitações de autoidentificação:
  Ele adiciona um novo cabeçalho, Signature-Agent, às solicitações HTTP que atua como um cartão de visita digital, apontando o destinatário diretamente para o diretório de chaves do remetente.

Benefícios para serviços e sites automatizados

O Web Bot Auth pode facilitar a escalabilidade da verificação de bots, reduzindo a necessidade de configuração manual entre cada site e serviço automatizado. Ele também oferece aos serviços automatizados uma maneira mais consistente de permanecerem reconhecíveis quando seus detalhes de segurança mudam, o que pode ajudar a evitar falhas na verificação ao longo do tempo.

A autenticação do Web Bot é experimental

O Google enfatiza que os usuários devem continuar usando os padrões existentes, como a verificação de bot baseada em IP do agente do usuário, enfatizando que o padrão em si é uma proposta que está sujeita a alterações.

A nova documentação fornece o seguinte aviso:

“O status experimental significa que:

Nem todos os agentes de usuário do Google usam o Web Bot Auth.

O Google ainda não está assinando todas as solicitações dos agentes que utilizam o protocolo.

Recomendamos que, além do Web Bot Auth, você continue contando com endereços IP, DNS reverso e strings de agente de usuário à medida que implementamos gradualmente o tráfego assinado.

Se você é um desenvolvedor ou administrador de sistema que deseja incluir nossos agentes experimentais de IA na lista de permissões, você pode implementar a verificação por meio do protocolo Web Bot Auth:

• Usando um produto ou serviço compatível com Web Bot Auth
• Verificando as solicitações você mesmo”

No entanto, o padrão visa simplificar a identificação de bots e controlar o tráfego de bots usando um protocolo criptográfico que um agente desonesto não pode falsificar, fornecer insights sobre como os bots estão interagindo com seu tráfego e construir uma maneira melhor de controlar a situação atualmente fora de controle com o rastreamento de bots.

O Google incentiva os usuários interessados ​​no protocolo a entrar em contato com seus provedores de hospedagem na web para saber se pretendem oferecer suporte ao protocolo experimental, manter-se atualizado com as últimas alterações publicadas pelo Web Bot Auth Working Group e enviar feedback por meio do formulário de feedback oficial do Web Bot Auth do Google.

Leia a nova documentação do Google:

Autenticar solicitações com Web Bot Auth (experimental)

Imagem em destaque por Shutterstock/Efkaysim