Cloudflare desligar e bloqueia a perplexidade de sites de rastejamento
A Cloudflare anunciou que retirou o rastreador da Perplexity como um bot verificado e agora está bloqueando ativamente a perplexidade e todos os seus bots furtivos de sites rastejantes. O CloudFlare agiu em resposta a várias queixas de usuários contra perplexidade relacionadas a violações dos protocolos robots.txt, e uma investigação subsequente revelou que a perplexidade estava usando táticas agressivas de bots desonestos para forçar seus rastreadores a sites.
Programa Bots Verificado Cloudflare
O Cloudflare possui um sistema chamado bots verificados que os bots das listados de brotos em seu sistema, permitindo que eles rastejam os sites protegidos pelo Cloudflare. Os bots verificados devem estar em conformidade com políticas específicas, como obedecer aos protocolos robots.txt, a fim de manter seu status privilegiado no sistema da Cloudflare.
Verificou -se que a perplexidade está violando os requisitos da Cloudflare de que os bots respeitam o protocolo robots.txt e evitam o uso de endereços IP que não são declarados como pertencentes ao serviço de rastreamento.
Cloudflare acusa a perplexidade de usar rastreamento furtivo
O Cloudflare observou várias atividades indicativas de rastreamento altamente agressivo, com a intenção de contornar o protocolo Robots.txt.
Comportamento furtivo de rastejamento: endereços IP rotativos
A perplexidade circunha os blocos usando endereços IP rotativos, alterando os ASNs e representando navegadores como o Chrome.
A Perplexity possui uma lista de endereços IP oficiais que rastreiam de um ASN específico (número do sistema autônomo). Esses endereços IP ajudam a identificar rastreadores legítimos da perplexidade.
Um ASN faz parte do sistema de rede da Internet que fornece um número de identificação exclusivo para um grupo de endereços IP. Por exemplo, os usuários que acessam a Internet por meio de um ISP o fazem com um endereço IP específico que pertence a um ASN atribuído a esse ISP.
Quando bloqueado, a perplexidade tentou fugir da restrição, mudando para diferentes endereços IP que não estão listados como IPs oficiais da perplexidade, incluindo os totalmente diferentes que pertenciam a um ASN diferente.
Comportamento furtivo de rastejamento: agente de usuário falsificado
O outro comportamento sorrateiro que o CloudFlare identificou foi que a perplexidade mudou seu agente de usuário para contornar as tentativas de bloquear seu rastreador via robots.txt.
Por exemplo, os bots da Perplexity são identificados com os seguintes agentes de usuário:
- Perplexitybot
- Usuador perplexidades
O Cloudflare observou que a perplexidade respondeu aos blocos de agentes do usuário usando um agente de usuário diferente que representava uma pessoa rastejando com o Chrome 124 em um sistema MAC. Essa é uma prática chamada falsificação, onde um rastreador desonesto se identifica como um navegador legítimo.
De acordo com o CloudFlare, a perplexidade usou o seguinte agente de usuário furtivo:
“Mozilla/5.0 (Macintosh; Intel Mac OS x 10_15_7) Applewebkit/537.36 (Khtml, como Gecko) Chrome/124.0.0.0 Safari/537.36”
Cloudflare Deliste perplexidade
Cloudflare anunciou que a perplexidade é excluída como um bot verificado e que eles serão bloqueados:
“The Internet as we have known it for the past three decades is rapidly changing, but one thing remains constant: it is built on trust. There are clear preferences that crawlers should be transparent, serve a clear purpose, perform a specific activity, and, most importantly, follow website directives and preferences. Based on Perplexity’s observed behavior, which is incompatible with those preferences, we have de-listed them as a verified bot and added heuristics to our managed rules that Bloqueie este rastreamento furtivo. ”
Takeaways
- Violação da política de bots verificada do CloudFlare
A perplexidade violou a política de bots verificados da CloudFlare, que concede ao acesso rastreador a bots confiáveis que seguem regras de senso comum, como homenagear o protocolo robots.txt. - A perplexidade usou táticas de rastreamento furtivo
A perplexidade usou endereços IP não declarados de diferentes ASNs e agentes de usuário falsificados para rastejar conteúdo após serem impedidos de acessá -lo. - Folação do agente do usuário
A perplexidade disfarçou seu bot como usuário humano, posando como Chrome em um sistema operacional Mac, na tentativa de ignorar os filtros que bloqueiam os rastreadores conhecidos. - Resposta de Cloudflare
O Cloudflare retirou a perplexidade como um bot verificado e implementou novas regras de bloqueio para impedir o rastreamento furtivo. - Implicações de SEO
Os usuários do CloudFlare que desejam perplexidade para rastejar seus sites podem querer verificar se o CloudFlare está bloqueando os rastreadores perplexidades e, se assim for, ativar o rastejamento através do painel Cloudflare.
O Cloudflare retirou a perplexidade como um bot verificado depois de descobrir que violava repetidamente as políticas de bots verificadas desobedecendo a robots.txt. Para evitar a detecção, a perplexidade também girou IPS, mudou asns e falsificou seu agente de usuário para aparecer como um navegador humano. A decisão da Cloudflare de bloquear o bot é uma forte resposta ao comportamento agressivo do BOT por parte da perplexidade.
