Alguns sites usam llms.txt como robots.txt, descobertas comuns de rastreamento

O Common Crawl analisou mais de 500.000 arquivos llms.txt e descobriu que 68% se originaram de um plugin ou modelo, enquanto 22% não tinham nenhum link.

A análise, compartilhada pelo engenheiro de pesquisa sênior Malte Ostendorff, mostrou que 6% dos arquivos incluíam diretrizes sobre o uso de sites de IA, como limites de taxas e avisos de direitos autorais, que o padrão llms.txt não cobre. Além disso, alguns arquivos nomeavam rastreadores específicos e se eles tinham acesso permitido, algo que o llms.txt não pode regular. Dos 32 arquivos que pareciam negar o próprio rastreador do Common Crawl, a equipe conseguiu avaliar 31 sites e nenhum o bloqueou completamente no robots.txt.

Em junho, cobri dados do Ahrefs mostrando que 97% dos arquivos llms.txt em seu conjunto de dados não receberam solicitações. Essa análise se concentrou em saber se alguém acessou os arquivos. O artigo Common Crawl examina o conteúdo desses arquivos.

A maioria dos arquivos vem de modelos

Wix representa 41% dos arquivos visualizados. Alguns geradores incluem uma linha nomeando a ferramenta e a análise agrupa arquivos não assinados por padrão compartilhado.

Pouco menos da metade (49%) tem a estrutura completa que a análise testou: um título H1, uma citação em bloco de resumo e seções de marcadores de link. 32% adicionam uma breve nota descrevendo cada link e 22,56% não possuem links. A especificação requer apenas H1 e trata as notas do link como opcionais.

Em 73.000 arquivos, o All in One SEO nunca escreve um resumo, mas tem uma mediana de 138 links. O artigo diz que trata llms.txt como um mapa do site. Os arquivos de domínio estacionado do GoDaddy passam com êxito em todas as verificações estruturais, mesmo sem links, servindo como um discurso de vendas.

Alguns sites estão usando llms.txt como robots.txt

O formato llms.txt é uma proposta para fornecer aos sistemas de IA uma lista selecionada das páginas de um site. O relatório explica que o arquivo “não concede nada e não bloqueia nada, e nenhum rastreador é obrigado a lê-lo”. Os rastreadores referem-se ao robots.txt para aprender as regras de acesso.

Alguns sites podem estar confundindo llms.txt com robots.txt. Além dos arquivos llms.txt analisados, o Common Crawl encontrou 136.578 arquivos robots.txt no caminho llms.txt, o que representa cerca de 10% das 1.287.207 respostas que retornaram HTTP 200.

Dos arquivos analisados, 1.570 citaram um rastreador específico, enquanto 32 pareciam negar o CCBot. Os arquivos Robots.txt foram recuperados para todos os 32 sites, e nenhum dos 31 sites que pôde avaliar bloqueou o CCBot imediatamente. Cinco sites permitiram explicitamente, 11 limitaram o acesso a determinados caminhos, mas permitiram outros, e 15 não tinham restrições. Um site retornou um erro HTTP 429 e não pôde ser testado.

O artigo aponta um site onde o arquivo llms.txt afirma que o CCBot está bloqueado “a partir de junho de 2026”, mas, curiosamente, seu robots.txt na verdade permite o rastreador sob uma regra curinga. A postagem descreve o llms.txt como uma descrição de política, e não como uma política em si, e diz que ele saiu de sincronia com o robots.txt que descreve.

O Common Crawl opera o CCBot e diz que robots.txt é o arquivo que ele respeita.

A injeção imediata existe, mas era rara

Dez arquivos corresponderam ao teste mais rigoroso do Common Crawl para instruções direcionadas ao próprio modelo. A equipe encontrou quatro casos genuínos, incluindo um arquivo cujo resumo diz ao modelo para ignorar as instruções anteriores e buscar um segundo arquivo. Os outros seis eram falsos positivos, principalmente documentação que citava tokens de controle para explicá-los.

Os autores esclarecem que a descoberta não é que o llms.txt esteja preenchido com injeções imediatas. Em todos os casos reais identificados, os indivíduos inseriram-no intencionalmente para deixar claro. Além disso, 3.793 arquivos mostraram orientações mais brandas, como dizer “concentre-se nestas páginas”.

O que a análise pode ou não mostrar

A amostra veio de sites que o CCBot buscou recentemente sem problemas. O rastreamento solicitou /llms.txt de um grupo grande e aleatório desses sites, amostrou /llms-full.txt mais especificamente e incluiu sites já conhecidos por veicular qualquer arquivo de dois rastreamentos anteriores.

Isso significa que a amostra é aleatória apenas em sites acessíveis ao rastreador, e não em toda a web. A postagem menciona que sua taxa de adoção de 11% para /llms.txt não é diretamente comparável aos números do Ahrefs ou do Web Almanac porque as populações são diferentes.

Esta análise baseia-se num único rastreamento, pelo que não pode determinar se os ficheiros de modelo, a linguagem política ou as injeções de alerta estão a aumentar. Também não é possível confirmar se algum sistema de IA lê esses arquivos. As contagens de políticas e injeções são baseadas em correspondências de palavras-chave, que a postagem admite serem provavelmente subcontagens.

Por que isso é importante

Uma restrição do rastreador escrita em llms.txt não faz nada por si só. O Rastreamento Comum menciona que o CCBot respeita o robots.txt, portanto, para esse rastreador, a regra precisa ser incluída lá. Além disso, qualquer linha llms.txt sobre isso deve corresponder a essas regras.

Olhando para o futuro

A atualização llms.txt v2 que relatei em agosto introduziu relações de link para tornar mais fácil encontrar versões de páginas Markdown. No entanto, isso não alterou o que o arquivo pode impor. Como os plug-ins e construtores de sites agora criam cerca de dois terços dos arquivos que o Common Crawl encontra, a forma como o formato é usado na prática depende mais do que essas ferramentas produzem do que da escrita manual.

Imagem em destaque: Elenco de Milhares/Shutterstock