Mueller do Google diz que llms.txt não pode ajudar LLMs a diferenciar sites

John Mueller, do Google, argumentou que os sistemas LLM não podem usar arquivos como llms.txt para decidir quais sites aparecerão para uma determinada consulta.

Ele fez os comentários em um episódio recente do Search Off the Record, o podcast da equipe de relações de pesquisa do Google.

Seu comentário aponta para um problema de sinal mais amplo, não apenas para jogos intencionais. Mesmo um arquivo llms.txt bem escrito ainda é uma informação auto-relatada do site que deseja ser escolhido.

Para descoberta, Mueller apontou páginas HTML normais e links internos.

O que Mueller disse

A conversa começou com uma pergunta sobre se os editores deveriam converter sites em Markdown para LLMs. Mueller e o co-apresentador Martin Splitt concordaram que o HTML ainda é a base para rastreamento e descoberta.

A discussão ficou específica quando Mueller recorreu ao llms.txt. Ele descreveu o caso de uso de descoberta como um beco sem saída:

“Basicamente, você está dizendo a esses sistemas, tipo, eu tenho o melhor site de todos os tempos. E aqui estão todas as páginas que todos devem visitar. E você deve comprar todos os meus produtos ou o que quer que coloque lá. Então, no sistema LLM, basicamente, por design, não se pode confiar no que está aqui como uma forma de diferenciar entre diferentes sites.”

Seu argumento se resume à diferenciação. Se os sites usarem llms.txt para se promoverem, os arquivos poderão fazer afirmações semelhantes. Um LLM que decide qual site responde melhor a uma consulta ainda precisa de outra maneira de diferenciá-los.

O que ‘por design’ pode significar

“Por design” pode significar duas coisas diferentes, e Mueller não esclareceu quais.

Uma leitura é arquitetônica. Os sistemas LLM avaliam o conteúdo da web e não podem usar arquivos auto-relatados ao escolher as fontes.

A outra leitura trata isso como um problema de sinal. Os sinais auto-relatados perdem valor quando todos os fornecem. Meta palavras-chave pararam de funcionar pelo mesmo motivo. Todos os sites os encheram e os mecanismos de pesquisa não conseguiram extrair um sinal de classificação útil.

Ambas as leituras chegam à mesma conclusão sobre a descoberta. Mas implicam coisas diferentes sobre se a limitação pode mudar ao longo do tempo.

Onde Mueller vê um papel

Mueller não rejeitou todos os usos de llms.txt. Ele descobriu um caso em que poderia ajudar:

“Se alguém já está no seu site, talvez algum tipo de sistema automatizado seja útil.”

Ele usou o exemplo de um agente que tenta comprar uma fotografia de um site específico. O LLM visitaria o site e buscaria instruções sobre como finalizar a compra.

O argumento separa a descoberta da navegação. llms.txt não pode ajudar um LLM a escolher qual site visitar. Mas pode ajudar quando o agente já estiver lá, como um diretório de lojas para alguém que já entrou.

Além do argumento do jogo

Mueller chamou a construção de páginas Markdown para bots de “uma ideia estúpida”. Ele também comparou llms.txt à meta tag de palavras-chave.

Roger Montti, da SEJ, escreveu que o llms.txt é “inerentemente indigno de confiança” porque nada impede os proprietários de sites de adicionar conteúdo de interesse próprio. A análise do SE Ranking de 300.000 domínios não encontrou nenhuma ligação entre a adoção do llms.txt e a frequência de citação nas respostas do LLM.

Esses argumentos se concentraram no que acontece quando as pessoas manipulam os arquivos. O comentário do podcast de Mueller acrescenta a nuance de que não há nenhum mecanismo nos arquivos para ajudar um LLM a escolher um site em vez de outro.

Por que isso é importante

O argumento do jogo contra o llms.txt sempre teve um contra-argumento disponível. As plataformas poderiam aprender a penalizar a manipulação, da mesma forma que os motores de busca lidavam com dados estruturados com spam.

O argumento da diferenciação deixa um problema mais difícil. Penalizar a manipulação pode resolver o abuso, mas não explica como os arquivos auto-relatados ajudam um LLM a escolher um site em vez de outro. Seu arquivo llms.txt mais preciso ainda não consegue dizer a um LLM para escolher seu site em vez do de um concorrente.

Olhando para o futuro

Os padrões sobre como os agentes navegam nos sites ainda não foram estabelecidos, reconheceu Mueller. Ele mencionou o WebMCP junto com outros tipos de arquivos em discussão.

Nenhum se tornou um padrão. Pela sua estimativa, pode levar de seis meses a um ano, ou mais, para que os sistemas de agência estabeleçam um formato. A camada de descoberta, onde o HTML e os links internos já funcionam, não faz parte dessa discussão.