Entrevista Perplexity AI explica como funciona a pesquisa de IA

Falei recentemente com Jesse Dwyer da Perplexity sobre SEO e pesquisa de IA sobre o que os SEOs deveriam focar em termos de otimização para pesquisa de IA. Suas respostas ofereceram feedback útil sobre o que os editores e SEOs deveriam focar agora.

Pesquisa de IA hoje

Uma conclusão importante que Jesse compartilhou é que a personalização está mudando completamente

“Eu teria que dizer que a coisa mais importante/mais simples a lembrar sobre AEO vs SEO é que não é mais um jogo de soma zero. Duas pessoas com a mesma consulta podem obter uma resposta diferente na pesquisa comercial, se a ferramenta de IA que estão usando carregar memória pessoal na janela de contexto (Perplexity, ChatGPT).

Muito disso se resume à tecnologia do índice (por que realmente existe uma diferença entre GEO e AEO). Mas sim, atualmente é correto dizer que (a maioria) das melhores práticas tradicionais de SEO ainda se aplicam.

A conclusão da resposta de Dwyer é que a visibilidade da pesquisa não se trata mais de um único resultado de pesquisa consistente. O contexto pessoal como uma função nas respostas de IA significa que dois usuários podem receber respostas significativamente diferentes para a mesma consulta, com fontes de conteúdo subjacentes possivelmente diferentes.

Embora a infraestrutura subjacente ainda seja um índice de pesquisa clássico, o SEO ainda desempenha um papel na determinação se o conteúdo é elegível para ser recuperado. Diz-se que a Perplexity AI usa uma forma de PageRank, que é um método baseado em links para determinar a popularidade e relevância de sites, de modo que fornece uma dica sobre algumas das coisas em que os SEOs deveriam se concentrar.

No entanto, como você verá, o que é recuperado é muito diferente do que na pesquisa clássica.

Eu segui com a seguinte pergunta:

Então, o que você está dizendo (e corrija-me se estiver errado ou um pouco errado) é que a Pesquisa Clássica tende a mostrar de forma confiável os mesmos dez sites para uma determinada consulta. Mas para a pesquisa de IA, devido à natureza contextual das conversas de IA, é mais provável que forneçam uma resposta diferente para cada usuário.

Jessé respondeu:

“Isso é preciso, sim.”

Processamento de subdocumentos: Por que a pesquisa de IA é diferente

Jesse continuou sua resposta falando sobre o que acontece nos bastidores para gerar uma resposta na pesquisa de IA.

Ele continuou:

“Quanto à tecnologia de índice, a maior diferença na pesquisa de IA no momento se resume ao processamento de documentos inteiros versus processamento de “subdocumentos”.

Os mecanismos de pesquisa tradicionais indexam em todo o nível do documento. Eles olham uma página da web, pontuam e arquivam.

Quando você usa uma ferramenta de IA construída nesta arquitetura (como a pesquisa na web ChatGPT), ela essencialmente realiza uma pesquisa clássica, captura os 10 a 50 principais documentos e pede ao LLM para gerar um resumo. É por isso que a pesquisa GPT é descrita como “4 pesquisas no Bing em um sobretudo” – a piada é direcionalmente precisa, porque o modelo está gerando uma saída com base em resultados de pesquisa padrão.

É por isso que chamamos a estratégia de otimização para este GEO (Generative Engine Optimization). Essa pesquisa em todo o documento ainda é essencialmente uma pesquisa algorítmica, não IA, uma vez que os dados no índice são toda a pontuação normal da página com a qual estamos acostumados em SEO. A abordagem AI-first é conhecida como “processamento de subdocumentos”.

Em vez de indexar páginas inteiras, o mecanismo indexa trechos granulares específicos (não confundir com o que os SEOs conhecem como “snippets em destaque”). Um snippet, no jargão da IA, tem cerca de 5 a 7 tokens, ou 2 a 4 palavras, exceto que o texto foi convertido em números (pelo processo fundamental da IA ​​conhecido como “transformador”, que é o T em GPT). Quando você consulta um sistema de subdocumentos, ele não recupera 50 documentos; ele recupera cerca de 130.000 tokens dos trechos mais relevantes (cerca de 26 mil trechos) para alimentar a IA.

Esses números não são precisos, no entanto. O número real de trechos sempre é igual a um número total de tokens que corresponde à capacidade total da janela de contexto específica do LLM. (Atualmente eles têm em média cerca de 130 mil tokens). O objetivo é preencher completamente a janela de contexto do modelo de IA com as informações mais relevantes, porque quando você satura essa janela, você não deixa espaço para o modelo “alucinar” ou inventar coisas.

Ou seja, deixa de ser um gerador criativo e entrega uma resposta mais precisa. Este método de subdocumento é para onde a indústria está se movendo e por que é mais preciso ser chamado de AEO (Answer Engine Optimization).

Obviamente esta descrição é um pouco simplificada. Mas o contexto pessoal que faz com que cada pesquisa não seja mais um resultado universal para todos os usuários é porque o LLM pode pegar tudo o que sabe sobre o pesquisador e usar isso para ajudar a preencher toda a janela de contexto. O que é muito mais informação do que um perfil de usuário do Google.

A diferenciação competitiva de uma empresa como a Perplexity, ou qualquer outra empresa de pesquisa de IA que migre para o processamento de subdocumentos, ocorre na tecnologia entre o índice e os snippets de 26K. Com técnicas como modulação de computação, reformulação de consultas e modelos proprietários executados no próprio índice, podemos fazer com que esses trechos sejam mais relevantes para a consulta, o que é a maior alavanca para obter uma resposta melhor e mais rica.

A propósito, isso é menos relevante para SEO, mas todo esse conceito também é o motivo pelo qual a API de pesquisa do Perplexity é tão legítima. Para os desenvolvedores que incorporam a pesquisa em qualquer produto, a diferença é noite e dia.”

Dwyer compara duas abordagens de indexação e recuperação fundamentalmente diferentes:

• Indexação de todo o documento, onde as páginas são recuperadas e classificadas como unidades completas.
• Indexação de subdocumentos, onde o significado é armazenado e recuperado como fragmentos granulares.

Na primeira versão, a IA fica no topo da pesquisa tradicional e resume as páginas classificadas. No segundo, o sistema de IA recupera fragmentos diretamente e nunca raciocina sobre documentos completos.

Ele também descreveu que a qualidade da resposta é limitada pela saturação da janela de contexto, e que a precisão emerge do preenchimento de toda a janela de contexto do modelo com fragmentos relevantes. Quando a recuperação consegue saturar essa janela, o modelo tem pouca capacidade de inventar fatos ou ter alucinações.

Por último, ele diz que “modulação de computação, reformulação de consulta e modelos proprietários” faz parte de seu molho secreto para recuperar trechos que são altamente relevantes para a consulta de pesquisa.

Imagem em destaque da Shutterstock/Summit Art Creations