Mueller do Google compartilha sua experiência com Markdown para AI SEO

Alguém no Reddit perguntou se alguém estava tendo sucesso ao fornecer arquivos de descontos para LLMs. John Mueller, do Google, compartilhou sua experiência pessoal testando arquivos de descontos para consumo de LLM.

Arquivos Markdown para LLMs

Arquivos Markdown são conteúdos legíveis por máquinas e por humanos que contêm marcações que sinalizam se algo é um cabeçalho e assim por diante. É essencialmente apenas conteúdo com toda a interatividade removida, portanto, sem JavaScript ou CSS.

A ideia é que fornecer esses arquivos aos LLMs permitirá que eles consumam o conteúdo sem ter que lidar com HTML, JavaScript e tudo o mais que existe especificamente para interação humana.

A motivação para fornecer arquivos markdown ao LLM é obter uma vantagem na classificação nas superfícies de pesquisa de IA.

Alguém teve sucesso com arquivos Markdown?

Uma pessoa no Reddit iniciou a discussão com esta pergunta:

“Eu já armazeno em cache minhas páginas da web HTML, então não é muito trabalhoso convertê-las em markdown e armazená-las em cache novamente e, em seguida, verificar os cabeçalhos para ver se um bot pede markdown. Eu li todas as coisas que posso encontrar on-line e o consenso parece ser que isso não vai ajudar a obter mais citações de IA, mas também não fará nenhum mal.

Estou me perguntando se ainda vale a pena fazer isso, apenas para impedir que os bots de IA martelem meu site. Tive que bloquear alguns no Cloudflare porque eles estavam enlouquecendo, mas se eles estiverem solicitando arquivos de redução menores, talvez valha a pena permitir o acesso novamente (posso reduzir os arquivos para cerca de um terço do tamanho).

Suponho que minha pergunta seja: alguém realmente viu um dos principais bots de IA solicitar descontos?

John Mueller, do Google, compartilhou sua experiência de que os únicos bots que atingem seus arquivos de descontos são de ferramentas de SEO.

Mueller compartilhou:

“Em meus sites de teste, os únicos rastreadores que afirmam aceitar descontos são ferramentas de SEO.

(Além disso, é irritante que as configurações do servidor que eu uso não registrem o cabeçalho de aceitação, então você precisa configurar manualmente as coisas para registro, mesmo que queira apenas ver se alguém o aceitaria. Se você estiver curioso sobre seus sites, recomendo descobrir como registrar isso e verificar as métricas primeiro.)”

Arquivos Markdown são como metatags de palavras-chave

O problema com os arquivos Markdown para LLMs é que todas as empresas de pesquisa generativa e LLM dominam totalmente o rastreamento e a indexação de arquivos HTML. Além disso, é do interesse deles baixar o que os usuários veem, e não conteúdo especial feito apenas para LLMs.

A razão é porque não se pode confiar em proprietários de sites e SEOs com conteúdo exclusivo para LLMs. Esta é a razão pela qual as meta tags de palavras-chave falharam. Todos o encheram de variações de palavras-chave, erros ortográficos e frases que não apareciam em seu conteúdo.

Não há vantagem para LLMs e agentes de IA consumirem arquivos markdown porque eles não são confiáveis ​​e como o download e a indexação de conteúdo HTML são triviais, é um problema que foi resolvido há mais de trinta anos.

Markdown para agentes de IA

A Cloudflare acredita que os arquivos markdown são muito populares entre os LLMs. Eles oferecem serviços que podem fornecer arquivos de descontos para agentes de IA que essencialmente os solicitam.

Eles escreveram recentemente:

“O Markdown rapidamente se tornou a língua franca para agentes e sistemas de IA como um todo. A estrutura explícita do formato o torna ideal para processamento de IA, resultando em melhores resultados e minimizando o desperdício de tokens.

A rede da Cloudflare oferece suporte à conversão de conteúdo em tempo real na origem, para zonas habilitadas usando cabeçalhos de negociação de conteúdo. Quando os sistemas de IA solicitam páginas de qualquer site que usa Cloudflare e tem Markdown para Agentes habilitado, eles podem expressar a preferência por texto/markdown na solicitação e nossa rede converterá o HTML em Markdown de forma automática e eficiente, quando possível, em tempo real.”

Honestamente, isso não é realidade. Se fosse assim, a discussão do Reddit estaria repleta de histórias de sucesso de arquivos de descontos.

Instruções para agentes de IA

OpenAI e Anthropic são mais realistas em relação aos arquivos de descontos porque essa é a “língua franca” para habilidades, orientações e instruções do agente de IA.

Uma página de suporte OpenAI explica:

“Instruções personalizadas com AGENTS.md
Dê ao Codex instruções extras e contexto para o seu projeto

Codex lê arquivos AGENTS.md antes de realizar qualquer trabalho. Ao sobrepor a orientação global com substituições específicas do projeto, você pode iniciar cada tarefa com expectativas consistentes, independentemente do repositório aberto.”

Conclusões

• Não há evidências aqui de que a veiculação de versões Markdown de páginas da web melhore as citações de IA ou a visibilidade da pesquisa de IA.
• John Mueller, do Google, diz que os únicos rastreadores em seus sites de teste que bisbilhotaram seus arquivos de descontos foram ferramentas de SEO.
• O conselho de Mueller é estabelecer maneiras de rastrear se os bots de IA estão realmente solicitando Markdown antes de apostar tudo em gerá-los para os bots.
• Todos os sistemas de IA já podem rastrear e indexar HTML. Não há necessidade de uma versão Markdown separada das páginas HTML.
• Cloudflare oferece suporte à conversão automática de HTML em Markdown quando os sistemas de IA solicitam. Mas a sua atitude em relação à procura por parte dos agentes de IA é excessivamente entusiasmada.
• Markdown já é útil para instruções e contexto de agentes de IA, incluindo o uso de AGENTS.md pelo OpenAI Codex, bem como para Anthropic Claude.
• A utilidade do Markdown para agentes de IA não se estende ao fornecimento de vantagens para rastreamento, indexação e classificação em mecanismos de pesquisa de IA.

Imagem em destaque por Shutterstock/ezphoto