97% dos arquivos llms.txt não receberam solicitações, mostram dados do Ahrefs
O Ahrefs analisou logs de 137.000 domínios e descobriu que 97% dos arquivos llms.txt não receberam nenhuma solicitação. Sem bots, sem humanos.
A análise usou dados do Ahrefs para identificar agentes de usuário que buscavam arquivos. Cerca de 28% dos 137.000 domínios publicam um arquivo llms.txt, mas como os clientes do Ahrefs são mais técnicos, a adoção real na web em geral é provavelmente menor.
Dos cerca de 38.000 domínios com arquivos válidos, apenas cerca de 1.100 receberam tráfego.
Dos arquivos com solicitações, 96% vieram de bots, a maioria não-AI. Os bots de recuperação de IA vinculados ao ChatGPT e Perplexity representaram 1%.
Quem busca arquivos llms.txt
As ferramentas de auditoria de SEO tiveram 21% de solicitações, depois bots não identificados (14%), rastreadores da web como o Googlebot (13%) e ferramentas de perfil técnico como BuiltWith (11%).
Os bots de IA, em quatro categorias, representaram 19% das solicitações. A IA é o maior segmento, mas a divisão difere das expectativas da maioria dos defensores do llms.txt.
Os agentes de codificação enviaram 10% das solicitações, os rastreadores de treinamento 5% e os assistentes 2%. Claude-Code e GPTBot foram os principais bots individuais.
O Slackbot sozinho buscou arquivos llms.txt com mais frequência do que o PerplexityBot.
A indústria se estudando
O relatório encontrou 12% de solicitações de ferramentas que auditam, verificam ou estudam arquivos llms.txt em vez de usá-los.
As ferramentas de prontidão GEO e AEO enviaram 5% das solicitações; scanners e validadores dedicados enviaram 3%, mais do que bots e assistentes de recuperação de IA combinados. Os bots de pesquisa enviaram 2%, com o maior rastreador de pesquisa identificando-se como uma pesquisa de injeção imediata.
Um ecossistema se desenvolveu em torno da pontuação e catalogação de um formato de arquivo antes que um público significativo apareça.
Nenhum AI Bot procura arquivos que não existem
Solicitações de caminhos /llms.txt com erros 404 não atraíram tráfego de IA. Os humanos que atingem esses 404 parecem ser pessoas digitando a URL nos navegadores, provavelmente verificando os concorrentes.
A auditoria do Chrome Lighthouse llms.txt, que reacendeu o debate sobre llms.txt em maio, gerou cerca de 22 solicitações em todo o conjunto de dados, aproximadamente 1 em 1.000.
Por que isso é importante
Os dados estão de acordo com o que John Mueller, do Google, disse sobre o llms.txt há mais de um ano. Lily Ray pressionou Mueller sobre a lacuna entre a demissão da Pesquisa Google e a auditoria Lighthouse do Chrome. Ele disse que o llms.txt “não é feito para pesquisa” e o chamou de “muleta temporária, talvez para salvar alguns tokens” para ferramentas de codificação de IA.
Os dados mostram que o público do arquivo são agentes de codificação e rastreadores de treinamento, e não bots de pesquisa e recuperação de IA que gerariam citações.
Informamos sobre a divisão entre a Pesquisa Google e a documentação do Lighthouse em maio. A análise anterior do SE Ranking de 300.000 domínios não mostrou nenhuma conexão entre ter llms.txt e frequência de citação de IA. Os dados do Ahrefs apontam para uma razão possível: os bots mais diretamente ligados à recuperação de IA ao vivo mal solicitaram esses arquivos em maio.
Olhando para o futuro
Vale a pena observar a descoberta imediata da injeção. O Ahrefs encontrou um rastreador estudando o llms.txt como um risco de injeção imediata, uma vez que os agentes confiam no conteúdo ingerido. Os sites que geram automaticamente esses arquivos via CMS devem revisar seu conteúdo.
Cada número neste relatório é um limite máximo. Os Ahrefs mediram as solicitações, não se os bots agiram de acordo com o que buscaram.
Imagem em destaque: sdecoret/Shutterstock
