Google expõe a falha fundamental do LLMs.txt
John Mueller e Martin Splitt do Google falaram sobre LLMs.txt e markdown, com Mueller oferecendo um fato surpreendente sobre o propósito original do LLMs.txt e também explicando por que os padrões propostos apresentam graves deficiências.
O que é descoberta e por que é importante
No contexto da recuperação de informações (pesquisa), a descoberta consiste em um mecanismo de pesquisa descobrir que existe uma página da web específica. A descoberta faz parte da arquitetura geral do mecanismo de pesquisa.
Arquitetura do mecanismo de pesquisa:
- Descoberta
Descobrir o URL (adicionando-o ao rastreamento). - Rastejando
Baixando e analisando o conteúdo. - Indexação
O processo de analisar os dados brutos e armazená-los em um banco de dados estruturado otimizado para recuperação. - Classificação
A parte que interessa a todos. - Servindo
Esta é a última etapa que veicula as páginas da web classificadas nos resultados da pesquisa.
O texto acima é uma visão geral simplificada do que é pesquisa e a descoberta é a primeira parte do processo que eventualmente termina com a classificação e veiculação de links para sites.
A conclusão aqui é que a descoberta é uma parte crítica para colocar uma página da web na fila para rastreamento, indexada, classificada e, eventualmente, mostrada nos resultados da pesquisa. Sem Discovery, uma página da web é invisível.
Agora, aqui está por que isso é importante: A descoberta não faz parte do padrão LLMs.txt proposto. usar
Intenção original de LLMs.txt
John Mueller disse que conheceu uma das pessoas responsáveis pela criação da proposta LLMs.txt e disse que o criador explicou que LLMs.txt nunca se tratou de tornar um site detectável, nunca foi concebido para fazer parte desse processo.
Este é um ponto importante porque muitos proprietários de sites estão gastando tempo, dinheiro e esforço gerando LLMs.txt com o propósito de serem descobertos e classificados em LLMs. Isso significa que o motivo pelo qual as pessoas usam LLMs.txt está em conflito com o propósito real do LLMs.txt, que não tem nada a ver com o Discovery.
Muller explicou:
“Então, acho que conversei com uma das pessoas que criaram essa proposta há algum tempo. E a ideia realmente não era criar algo que tornasse mais fácil para os mecanismos de pesquisa ou sistemas LLM descobrirem todo o seu conteúdo, mas quase mais que se um LLM já conhece o seu site e deseja descobrir o que mais está aqui, então essa pode ser uma abordagem.
E acho que o aspecto de usar isso como uma forma de otimizar a descoberta por sistemas de IA ou a descoberta por sistemas de pesquisa não faz nenhum sentido.”
Em seguida, Mueller explicou que muitas pessoas estão usando LLMs.txt na esperança de auxiliar no processo de descoberta, apesar de esse não ser o propósito do LLMs.txt.
Ele então se referiu ao fato de que LLMs.txt são inerentemente indignos de confiança porque é o proprietário do site que diz do que se trata o conteúdo do site, o que pode ou não corresponder ao que está no HTML real.
Ele continuou:
“Porque basicamente você está dizendo a esses sistemas, tipo, eu tenho o melhor site de todos os tempos. E aqui estão todas as páginas que todos devem visitar. E você deve comprar todos os meus produtos ou o que quer que coloque lá.
Portanto, em um sistema LLM, ele… basicamente, por design, não pode confiar no que está aqui como forma de diferenciar entre diferentes sites.”
Instruções Agenteicas
Mueller então diz que algumas dessas propostas de padrões podem ser úteis para ajudar um agente de IA, o que parece que ele está falando sobre o Web Model Context Protocol (WebMCP).
Ele explicou:
“Se alguém já está no seu site, talvez algum tipo de sistema automatizado seja útil. Se for, eu quero ir ao Martin’s Splitt e comprar uma fotografia, então o sistema LLM pode acessar o seu site e dar uma olhada, tipo, como você compra uma fotografia? Talvez ele tenha algumas diretrizes para mim como agente de compra de fotografias. Isso faz sentido.
Mas saindo e dizendo, quero comprar uma fotografia, qual site tem uma, o sistema não vai ir no seu site e em outros cinco e dizer, quem tem alguma informação automatizada? Mas sim, eles estão tentando, tentando encontrar o melhor site…”
LLMs.txt não se trata de ser descoberto pela IA
Mueller voltou ao modo como as pessoas estão interpretando mal o LLMs.txt como uma forma de serem descobertos pelos sistemas de IA.
Ele raciocinou sobre este ponto:
“Acho que desse ponto de vista, otimizar como forma de ser descoberto, isso não faz sentido.
Mas o que acontece quando um agente está no seu site? Acho que isso também parece ser uma área aberta para discussão no momento, já que existe o LLMs.txt como proposta. Existem diferentes arquivos JSON e tipos de arquivos conhecidos que estão em discussão.
Tem o WebMCP, que acho que tenta fazer algo parecido, onde dizem, bem, você está nesta página agora, mas temos uma interface programática para isso, adicionamos uma URL específica ou um mecanismo específico.
Acho que essas são discussões quase diferentes.”
A descoberta e a classificação ainda estão vinculadas ao HTML
Mueller completou seu pensamento sublinhando que o Discovery está no nível HTML.
Ele explicou:
“Portanto, o ângulo genérico de SEO de como encontrar um site que me venda uma fotografia estará quase completamente vinculado a páginas HTML e páginas normais da web.
E então, se um usuário decidir ir para um serviço específico, dentro desse serviço, haverá um pouco mais de espaço para talvez ajudar um agente ou um sistema LLM a encontrar a abordagem certa.
Mas o que é interessante, claro, são muitas ideias. E nada disso se cristalizou basicamente como algo que todos usarão. Então tenho certeza que no próximo, não sei, meio ano, ano, ou talvez mais, vai demorar um pouco. E alguns desses sistemas de agente vão se unificar em torno de algum tipo de arquivo ou mecanismo padrão ou algo assim.”
Mueller não estava promovendo o padrão WebMCP, mas se os agentes de IA se tornarem uma forma de os usuários interagirem com os sites, então será algo como WebMCP e não LLMs.txt que será útil para sites, especialmente para sites de comércio eletrônico.
O WebMCP é naturalmente mais adequado para o comércio eletrônico porque se concentra em fornecer aos agentes de IA recursos acionáveis, como filtrar produtos, pesquisar e identificar produtos, auxiliar na comparação de diferentes produtos e auxiliar a IA na adição de um produto a um carrinho de compras.
Os agentes de IA são capazes de navegar usando o HTML do site que foi projetado para humanos. O WebMCP facilita a interação bem-sucedida dos agentes de IA com o site, algo que o LLMs.txt não faz.
Embora nem o LLMs.txt nem o WebMCP ajudem um site a ser descoberto pela IA, nenhum deles foi criado para esse propósito. A parte do Discovery, primeira etapa do ranking, tudo acontece com HTML. Se for esse o caso, qual é o seu próximo passo?
Ouça a pesquisa off the record do Google, episódio 111
Imagem em destaque por Shutterstock/Master1305
