Google diz que Markdown para AI SEO elimina as partes que importam
Em um podcast recente do Search Off the Record, os apresentadores John Mueller e Martin Splitt rejeitaram a ideia promovida pelos SEOs de IA de que versões simplificadas e apenas de conteúdo são a melhor maneira de otimizar para o AI Search. Eles argumentaram que todas as coisas que os SEOs de IA desejam remover são realmente úteis para classificação.
Partes sem conteúdo de páginas da Web são importantes
O TL;DR desta parte é que o HTML é para os navegadores renderizarem em uma página visível para os humanos, bem como para os leitores de tela lerem.
Martin Splitt inicia a discussão explicando por que o HTML simples parece não ser a maneira ideal de fornecer conteúdo para agentes de IA e LLMs. A ideia é que, além do conteúdo, haja muitos outros códigos no HTML que são irrelevantes para um LLM ou agente de IA que possa estar visitando um site em busca do conteúdo.
O apelo do markdown, então, é que ele pode fornecer o conteúdo de uma maneira que se liberte de todo o HTML destinado a tornar uma página da web visível para humanos ou legível por um leitor de tela.
Divisão explica:
“E acho que é também por isso que as pessoas acham que é bom para LLMs, porque você tem menos coisas, menos tokens. E se você olhar para um arquivo HTML sem um navegador renderizando-o, se você apenas olhar para o HTML simples em um editor de texto, basicamente, então é difícil ler o conteúdo, porque há muito lixo, muita coisa nele. Há todas essas tags HTML e tudo isso, talvez até estilos in-line e todo esse tipo de coisa.”
Ele também elogia o markdown pela capacidade de ainda comunicar a essência do conteúdo:
“Mas se uma renderização do Markdown falhar e você olhar o arquivo Markdown em um editor de texto, ele ainda estará estruturado e legível. Como um link é a palavra do texto do link, como o texto âncora, e depois entre colchetes e depois entre colchetes normais. Provavelmente é o que eu faria se texto fosse tudo que eu tivesse disponível.
Se eu estivesse escrevendo um e-mail sem a possibilidade de vincular coisas, provavelmente marcaria algum tipo de texto de link e, em seguida, colocaria alguma forma de dizer, tipo, e é aqui que você precisa ir para realmente ver isso.
E acho que esse minimalismo é provavelmente o que faz as pessoas pensarem, sim, isso é ótimo para uma máquina que precisa entender esse conteúdo, ao contrário do HTML.”
Converter HTML em texto é trivial
Mueller e Splitt observaram que, apesar da aparência complexa do HTML, rastreá-lo e entendê-lo é trivial e muito fácil de fazer. O argumento de venda sobre o uso de markdown para LLMs, que simplifica o rastreamento e a indexação de conteúdo, se desfaz completamente neste ponto.
John Mueller explica:
“Acho que o importante é que a Web com HTML e tudo mais existe há muito tempo, há mais tempo que o Markdown. E todos os rastreadores por aí praticam com HTML. E converter HTML em texto é trivial. Existem muitas bibliotecas por aí que podem fazer isso por você. Então, se você pensar no que um rastreador da Web comum pode procurar ou precisa encontrar em uma página para poder entendê-la, então provavelmente isso é apenas HTML.”
Markdown falha na descoberta de conteúdo
Descoberta ocorre quando qualquer rastreador visita uma página da web e descobre outras páginas da web em um único site e também de um site para outro.
Splitt disse que a redução se concentra em apenas uma parte do conteúdo: o próprio conteúdo. Ele explicou que isso torna mais difícil para os mecanismos de busca verem uma página da web no contexto de como ela se conecta ao restante do conteúdo de um site por meio de links, que auxiliam na descoberta.
Ele explicou:
“Sim, e quero dizer, a outra coisa é, sim, é bom que o Markdown geralmente se concentre em uma parte do conteúdo, mas HTML com todos os links e navegação e os cabeçalhos e todo esse tipo de coisa que é removido nos arquivos Markdown que compõem o site são importantes para entender a estrutura e como isso se conecta ao resto do site.
Então eu acho que isso também é uma coisa ruim. Se perdêssemos isso, provavelmente não seria tão bom para rastrear no Discovery, hein? “
Remover
Lendo patentes e artigos de pesquisa, fica claro que os motores de busca veem um site como uma coleção de páginas da web individuais, mas também como grupos de páginas da web que pertencem a seções e categorias, e também como o próprio site como um todo. Diminua o zoom e o site será apenas um ponto entre milhares e milhares de outros sites em uma vizinhança de sites, auto-organizados por links em categorias e níveis de qualidade.
Para SEO, temos que entender um site tanto na visualização reduzida quanto na ampliada para conceituar como todas as peças se encaixam. A razão é porque é isso que os motores de busca fazem.
O SEO baseado em IA parece estar empenhado em tornar mais fácil para LLMs e agentes de IA rastrear e indexar conteúdo. O rastreamento e a indexação são preocupações válidas. Mas, ao insistir em arquivos markdown, eles não estão considerando os fundamentos da descoberta e o quão trivial é extrair conteúdo de uma página HTML, o que torna os arquivos markdown redundantes.
Além das questões acima, há também aquela sobre confiabilidade. Costumava haver uma coisa chamada meta tag de palavra-chave que alguns mecanismos de pesquisa usavam para obter uma dica sobre o assunto de uma página da web. Naturalmente, os proprietários de sites e SEOs usaram-no para descartar todas as palavras-chave que desejavam classificar, independentemente do conteúdo.
Não estou dizendo que os SEOs e os proprietários de sites não são confiáveis, mas o tráfego de pesquisa é dinheiro e as pessoas farão o que quiserem. Portanto, a última consideração é que os mecanismos de pesquisa nunca confiarão no conteúdo markdown e o usarão como canônico quando for algo trivial rastrear e extrair o conteúdo original do HTML.
Voltando ao que Mueller e Splitt discutiram, o Google insiste que a insistência do AI SEO na redução elimina uma quantidade significativa de contexto que importa.
Assista ao episódio 111 de Search Off The Record aqui:
