Como projetar estruturas de URL para recuperação de IA, não apenas classificações

Como projetar estruturas de URL para recuperação de IA, não apenas classificações


Durante anos, a estrutura da URL foi uma caixa de seleção técnica de SEO. Seja breve, use hífens, inclua a palavra-chave, pronto.

Embora esse manual ainda funcione, está cada vez mais incompleto. Uma parcela crescente do público-alvo agora descobre conteúdo por meio de assistentes de IA e grandes modelos de linguagem como ChatGPT, Perplexity, Claude, AI Overviews do Google e muito mais.

Esses sistemas recuperam e sintetizam informações de maneira diferente dos rastreadores de busca tradicionais e, se sua arquitetura de URL não for construída com isso em mente, você aumenta suas chances de não ser citado pelos LLMs.

Na nova era da pesquisa, precisamos estender esses fundamentos de SEO para também nos alinharmos com os bots de IA e como eles rastreiam URLs.

Por que os sistemas de IA leem URLs de maneira diferente

Os mecanismos de pesquisa passaram décadas desenvolvendo infraestruturas sofisticadas de rastreamento e indexação. Eles seguem redirecionamentos, resolvem canônicos, analisam JavaScript (às vezes…) e podem inferir o contexto de uma página quando o URL é uma sequência de caracteres aleatórios.

Os sistemas de recuperação de IA, particularmente pipelines de geração aumentada de recuperação (RAG) e LLMs conectados à web, geralmente funcionam de maneira diferente.

Existem três partes principais de como o RAG funciona:

  1. O prompt de entrada é convertido em uma incorporação de vetor
  2. Passagens relevantes são então recuperadas de URLs indexados, documentos e gráficos de conhecimento em resultados de pesquisa tradicionais como Google e Bing.
  3. Um LLM como ChatGPT ou similar irá então processar essas informações e gerar uma resposta refinada.

Um sistema RAG desenvolvido pelo desenvolvedor usará essencialmente fontes de dados de URLs para extrair conteúdo – eles rastrearão o URL, converterão o conteúdo da web em “pedaços” pesquisáveis ​​e os armazenarão como vetores numéricos para recuperação posterior.

Agora isso também está evoluindo para um domínio de base de contexto de URL, que é específico do Gemini. O objetivo da fundamentação do contexto de URL é ajudar o Gemini (e presumivelmente AI Overviews/AI Mode) a entender melhor e responder perguntas sobre conteúdo e dados em URLs individuais sem realizar o processamento RAG tradicional.

O objetivo aqui é que o LLM extraia especificamente informações diretas de vários URLs, analise vários relatórios e combine informações de diversas fontes para gerar resumos mais precisos. Isto deveria, em teoria, ajudar a melhorar a precisão factual da IA ​​​​e reduzir as alucinações.

Depois, há a classificação zero shot – uma técnica que permite aos modelos categorizar a finalidade de uma página da Web sem quaisquer dados de treinamento específicos da tarefa.

Em vez de confiar em exemplos rotulados, o modelo analisa pistas semânticas, como estruturas de URL (tratadas como sequências de texto simples) e as mapeia para categorias predefinidas usando métodos como similaridade de cosseno ou raciocínio baseado em prompts.

Isso funciona aproveitando o conhecimento de linguagem pré-treinado do modelo para inferir a provável função de uma página, ao mesmo tempo que detecta padrões distintos nas palavras e frases que sinalizam o tipo de conteúdo que a página contém.

Isso tem sido particularmente útil na identificação de links de phishing e outros links maliciosos com base apenas em seus padrões de URL, mas também indica como os LLMs poderiam começar a aproveitar a classificação zero-shot para confiar apenas em URLs para inferir a relevância semântica.

Uma URL que não comunica nada força os modelos LLM a trabalhar mais e introduz ambiguidade na forma como o conteúdo é categorizado.

De forma mais prática, quando um sistema de IA cita uma fonte em uma resposta, muitas vezes aparece o URL junto com o trecho. Esse URL se torna visível para usuários reais, da mesma forma que acontece em um resultado de pesquisa, e eles tomarão decisões reais sobre clicar ou não.

Um caminho claro e descritivo gera confiança de uma forma que algo como /p?id-4821 nunca o farei.

O princípio básico dos URLs como sinais semânticos

Pense na estrutura da sua URL como uma camada de conteúdo secundária – uma que comunica hierarquia, tópico e especificidade independentemente do título da página ou H1, ou outros metadados.

Um URL como /resources/seo/url-estrutura-ai-retrieval/ informa a um sistema de recuperação várias coisas ao mesmo tempo: ele fica em um hub de recursos, está dentro de uma categoria de SEO e cobre um subtópico específico em um nível granular.

Esse é um sinal útil. Ele mapeia como os sistemas de IA tentam compreender a origem e a relevância do conteúdo antes de trazê-lo à tona em uma resposta.

Isso é importante especialmente para:

  • Consultas de cauda longa e baseadas em perguntas, em que os sistemas de IA procuram correspondências precisas com necessidades de informação específicas.
  • Autoridade do tópico, onde sua hierarquia de URL pode reforçar que seu domínio possui uma área de assunto.
  • Qualidade de citação, onde um URL descritivo aumenta a probabilidade de um agente de IA fazer referência ao seu conteúdo em uma página quase idêntica de um concorrente.

Princípios práticos de arquitetura

Há uma série de princípios práticos de arquitetura que você deve considerar tanto para a pesquisa tradicional quanto para a pesquisa de IA.

Use uma hierarquia lógica e superficial

Aninhamento profundo (ou seja, /blog/categoria/subcategoria/ano/mês/post-title/) cria ruído e seu conteúdo fica a vários passos da página inicial. Uma estrutura com três níveis de profundidade é quase sempre suficiente, ou seja, domínio > categoria > página específica. Existem algumas configurações de CMS, como Shopify, onde você é forçado a usar quatro ou cinco, dependendo do seu tema (ou seja, domínio/blog/nome-do-blog/blog-post-title/), mas contanto que você adicione um contexto significativo e não confusão administrativa, sua estrutura estará alinhada com o princípio.

Torne cada segmento legível e descritivo

Evite abreviações, jargões internos ou números de identificação em URLs públicos. Um URL como / otimização de pesquisa AI comunica o tópico diretamente, enquanto um URL como /aso-v2 não comunica nada sem conhecimento prévio.

Alinhe os slugs de URL com a intenção de pesquisa real, não apenas com a palavra-chave

Há uma grande diferença entre /e-mail-marketing e /e-mail-marketing-melhores-práticas-b2b. O segundo sinaliza especificidade. É mais provável que surja quando um sistema de IA está gerando uma resposta a uma pergunta precisa, porque o próprio URL restringe o escopo de relevância antes mesmo de o conteúdo ser analisado.

Seja consistente com a nomenclatura de categorias em seu site

Se sua estratégia de conteúdo usa /guias/ para conteúdo educacional de formato longo e /blog/ para comentários mais curtos, mantenha isso de forma consistente. É provável que os sistemas de recuperação de IA construam um modelo da estrutura do seu site ao longo do tempo. A inconsistência confunde o sinal sobre que tipo de conteúdo reside e onde.

Evite o excesso de palavras-chave em URLs

Este é um conselho antigo de SEO, mas também se aplica aqui. Um URL repleto de palavras-chave parece spam para usuários humanos que o veem citado em uma resposta de IA, o que prejudica o benefício de confiança que você está tentando construir. Uma palavra-chave ou frase primária por segmento é a escolha certa.

Como é isso na prática

Se dois profissionais de marketing diferentes estiverem escrevendo sobre o mesmo tópico, a estrutura da URL pode ser fundamental para que os sistemas RAG entendam melhor o contexto da página como parte da recuperação de conteúdo.

Um exemplo:

O profissional de marketing A publica /blog/2024/03/dicas-e-mail-parte-4.

O profissional de marketing B publica /resources/email-marketing/b2b-deliverability-guide.

A estrutura de URL do profissional de marketing B comunica adequadamente hierarquia (centro de recursos), categoria (marketing por e-mail) e um foco específico (capacidade de entrega B2B) antes que uma única palavra do texto seja processada.

Os usuários também são mais propensos a se beneficiar com a citação deste URL porque podem entendê-lo imediatamente.

Pode-se argumentar que esse tipo de clareza e especificidade pode aumentar à medida que a estrutura da URL e a arquitetura de informações do site podem ditar toda a estrutura do tópico do seu site, ajudando também a comunicar conhecimento e relevância.

O problema de redirecionamento e consolidação

Isso é mais relevante para sites corporativos que acumularam dívidas de URL, como redirecionamentos, caminhos duplicados e slugs inconsistentes devido a migrações históricas do sistema de gerenciamento de conteúdo.

Isso pode criar um problema específico para a recuperação de IA se houver cadeias de redirecionamento e caminhos duplicados, já que os rastreadores podem não chegar consistentemente à versão canônica de uma página e diferentes sistemas de recuperação lidam com a resolução de redirecionamento de maneira diferente.

Uma solução prática será priorizar os URLs do seu site. Audite suas páginas de maior tráfego e valor e confirme se seus URLs canônicos estão limpos, acessíveis e estruturados de acordo com sua taxonomia atual.

Em seguida, trabalhe para trás.

Você não precisa reestruturar todo o site para ter a chance de ser citado nas respostas de IA, mas especialmente para suas páginas de maior valor, você deve garantir que está oferecendo os melhores sinais de URL possíveis.

O que você deve evitar mudar

É importante nem sempre perseguir o que é grande e brilhante, portanto, não reestruture completamente a arquitetura de URL de todo o seu site apenas para obter ganhos marginais de recuperação de IA.

A reestruturação de URL acarreta riscos reais de SEO e tempo para recuperar o valor do link se redirecionamentos 301 forem implementados – e tem havido muitas histórias de terror sobre migração na web que podem atestar o que pode acontecer quando não são implementados corretamente.

O objetivo é aplicar esses princípios a novos conteúdos e sinalizar problemas estruturais em páginas existentes de alto valor, onde o caso para remediar esses problemas é claro e apresenta menor risco.

Se a sua estrutura de URL atual já segue convenções hierárquicas, descritivas e limpas (que são parte padrão das práticas recomendadas de SEO), parabéns! Você tem otimizado para recuperação de IA sem nem mesmo saber.

Resumindo

A estrutura de URL sempre foi um sinal relativamente pequeno, mas à medida que os assistentes de IA se tornam um canal de descoberta mais significativo, as estruturas de URL têm o potencial de serem citadas em mais lugares do que apenas no Google e no Bing.

Eles podem ajudá-lo a aparecer em respostas geradas por IA, podem moldar a qualidade das citações e podem contribuir para a forma como os sistemas de recuperação categorizarão seu conteúdo antes de qualquer outra coisa.

Basta criar URLs que contem claramente a história do seu conteúdo, antes que o usuário clique nele.

Mais recursos:


Imagem em destaque: Vitya_M/Shutterstock



Source link

Postagens Similares

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *