Microsoft Clarity agora sinaliza bots que ignoram Robots.txt

O Microsoft Clarity agora apresenta solicitações de bot que vão contra as regras de URL de um site no painel Bot Analytics da ferramenta, anunciou a empresa em uma postagem no blog.

O Clarity calculará e exibirá essas solicitações como uma porcentagem da atividade total do bot em um determinado período de tempo e as adicionará às ferramentas existentes de visibilidade de IA no painel, que em maio começou a mostrar consultas básicas por trás das citações de IA.

O que a visualização de violações mostra

Quando um bot faz uma solicitação a um site conectado ao Clarity, a ferramenta agora verifica essa solicitação em relação às diretivas robots.txt do site para determinar se o caminho foi proibido.

As solicitações de bot não permitidas são então calculadas e exibidas como uma porcentagem da atividade total do bot em um determinado período.

O Clarity permite que os proprietários de sites filtrem solicitações de bot mostradas por operador de bot, nome do bot, tipo de atividade de solicitação, URLs e caminhos solicitados, para comparar e contrastar padrões em rastreadores que são conhecidos por seguir regras com aqueles que não o fazem.

Isso é feito navegando para uma visualização lado a lado comparando rastreadores que geralmente são considerados compatíveis com aqueles que apresentam violações.

Como ligá-lo

O recurso não é ativado automaticamente para todos os sites e deve ser habilitado pelo administrador do projeto do site na seção Visibilidade de IA das Configurações do projeto, especificamente para sites que usam um CDN compatível.

CDNs suportados incluem Fastly, Amazon CloudFront, Cloudflare, Azure Front Door e Akamai. Sites WordPress que usam o plug-in Microsoft Clarity mais recente também são suportados.

Por que isso é importante

Com as preocupações em torno dos rastreadores de IA mastigando os recursos do servidor e distorcendo as análises, ser capaz de ver essa atividade é importante.

E como o Clarity é gratuito, é uma maneira gratuita de monitorar se os rastreadores respeitam essas regras. Ele apenas informa que as solicitações aconteceram, e não o porquê.

Esses dados cobrem apenas solicitações que alcançaram caminhos que o robots.txt de um site não permite. Robots.txt é consultivo, não algo que bloqueia nada, então o Clarity está registrando as solicitações que foram recebidas, em vez das que foram interrompidas.

A mudança também reconhece que analisar manualmente os logs do servidor para solicitações de bot e testar manualmente URLs em robots.txt para identificar solicitações não permitidas não é escalonável, com o Clarity agora contando automaticamente o número de solicitações de rastreadores que violam as regras de um site.

Olhando para o futuro

Os sites agora têm maneiras mais precisas e automatizadas de avaliar até que ponto as regras do robots.txt estão sendo seguidas.

A grande questão é se tornar esse comportamento mais fácil de medir mudará o comportamento dos rastreadores ou se apenas ajudará os proprietários de sites a manter um registro mais claro do que está acontecendo.