Algumas marcas nas páginas citadas do ChatGPT ainda receberam poucas menções

As marcas que o ChatGPT raramente nomeava ao responder sem usar os resultados da pesquisa eram geralmente as marcas que o ChatGPT raramente nomeava quando fazia uma pesquisa (mesmo quando essas marcas eram incluídas em muitas das páginas da web referenciadas pelo ChatGPT). Este é o resultado principal de uma análise de 16 de outubro feita pela Graphite, comparando respostas desconectadas do ChatGPT para prompts de comparação com pesquisa e sem ela.

Entre as marcas substancialmente mencionadas em pelo menos 15% das páginas citadas, a visibilidade média com pesquisa foi de 11% quando o ChatGPT as nomeou em menos de um quarto de suas respostas sem pesquisa. A Graphite, uma agência de crescimento que vende serviços AEO, argumenta que as marcas devem trabalhar no que os modelos de IA aprendem no treinamento, bem como nas citações, e chama isso de otimização paramétrica do conhecimento (PKO).

A visibilidade da pesquisa aumentou com a visibilidade sem pesquisa

A comparação da Graphite usa prompts de comparação de entidades, que pedem ao ChatGPT para comparar marcas ou produtos, de seu artigo de 20 de agosto sobre rastreamento de prompts. Abrange 3.115 pares entidade-pergunta em 57 questões, coletadas em agosto do ChatGPT desconectado. Visibilidade é a parcela de respostas que mencionam uma marca ou produto.

Para respostas que usaram pesquisa, o Graphite também mediu a parcela de páginas citadas que mencionavam substancialmente cada marca e dividiu as marcas em três grupos de acordo com essa parcela. Em todos os três grupos, as marcas que o ChatGPT nomeou com mais frequência sem pesquisa foram nomeadas com mais frequência com pesquisa.

Houve um aumento na visibilidade via busca junto com um aumento na participação de páginas citadas com menção à marca. De acordo com a Graphite, isso sugere que ambos os fatores são importantes. A grafite afirma que existe a mesma relação (com força comparável) em duas replicações. A primeira replicação usou 100 prompts por meio da API com a pesquisa explicitamente habilitada e desabilitada; o segundo usou 200 prompts rastreados pela ferramenta de rastreamento do Graphite durante um período diferente de três semanas.

A comparação de 57 perguntas foi baseada em dados do artigo de 20 de agosto da Graphite comparando forçar o ChatGPT a usar a pesquisa versus não forçar o ChatGPT a usar a pesquisa. No artigo de 20 de agosto, o Graphite definiu se uma resposta utilizava pesquisa se uma consulta de distribuição ou resultado de pesquisa fosse incluído na resposta. No entanto, o artigo de 16 de outubro não explica como o Graphite separou as respostas que não utilizaram a pesquisa para comparação. A Graphite descreveu apenas a replicação da API de 100 prompts como tendo sido conduzida ao desabilitar explicitamente a pesquisa.

De acordo com a Graphite, existem evidências iniciais de que o que um modelo aprendeu durante o treinamento afeta a forma como um modelo utiliza os resultados da pesquisa. Além disso, o artigo não inclui descrições de variáveis ​​de controle para o grau de conhecimento de cada marca, e os dados indicam que a visibilidade de cada marca com e sem pesquisa aumentou conjuntamente.

Nomes de marcas nas pesquisas de fundo do ChatGPT

O Graphite também contou nomes de marcas em cerca de 957.000 consultas fan-out do ChatGPT, as pesquisas em segundo plano que ele executa antes de responder. As consultas vieram de 22.953 solicitações de comparação de entidades sem marca coletadas de agosto ao início de outubro. Dessas consultas, 59,6% continham uma marca, rotulada pelo modelo Claude Haiku 4.5 da Anthropic, e 22,7% usavam uma operadora de site:.

Nenhum dos prompts nomeou uma marca. Graphite diz que uma marca em uma consulta de fan-out aumenta a chance de que as páginas que apresentam essa marca sejam recuperadas.

Suganthan Mohanadasan encontrou um padrão semelhante em um teste menor sobre o qual escreveu para o SEJ em agosto. Em 21 das 27 conversas em uma única conta logada, a primeira consulta de pesquisa do ChatGPT incluiu nomes de marcas que ele não havia digitado.

Taxas de citação ChatGPT em prompts de comparação

Entre duas semanas de prompts de comparação de entidades na ferramenta de rastreamento do Graphite, onde há um conjunto fixo de prompts, a porcentagem de respostas desconectadas do ChatGPT com citações aumentou de 56,6% (semana de 3 de agosto) para 88,5% (semana de 28 de setembro). Nas mesmas semanas, para Gêmeos desconectados, o percentual era de 79,0%, depois de 81,2%.

Graphite diz que esse aumento sugere maior frequência de uso de pesquisa e afirma que essas porcentagens mudaram ao longo do tempo e podem diminuir.

Uma citação por si só não indica necessariamente que ocorreu uma pesquisa. Em um artigo anterior da Graphite sobre rastreamento imediato, observou-se que, a partir de maio, o ChatGPT poderia adicionar links in-line sem exibir qualquer evidência de pesquisa.

Em seu relatório de distribuição de outubro, que abordei em 12 de outubro, o Ahrefs relatou que 14,4% dos 66,6 milhões de respostas gratuitas e desconectadas do ChatGPT em agosto e setembro incluíam consultas de distribuição. Estas estatísticas não correspondem diretamente. O Ahrefs contou as respostas com consultas distribuídas em prompts gerais com base no volume de pesquisa para todos os tópicos e países; Respostas contadas em grafite, incluindo uma citação para prompts de comparação.

Cortes de modelo e controles de dados de treinamento

A Graphite usou a data de publicação de cada modelo, juntamente com o limite de conhecimento relatado pelo fornecedor, para calcular o período de tempo em dias entre o limite de conhecimento declarado de cada modelo e o lançamento desse modelo. Para a Anthropic, a Graphite usou o corte de dados de treinamento em vez do corte de conhecimento confiável anterior, para comparação entre todos os três fornecedores de IA. Para os modelos lançados desde julho, os prazos para esses fornecedores eram de aproximadamente dois a cinco meses. A Graphite afirma que essa diferença é conhecida como “o tempo mínimo de impacto para conteúdo recém-publicado”. Este cálculo não mede quando um artigo é rastreado no conjunto de treinamento ou se as respostas do modelo mudam.

Os métodos que o Graphite propõe são exploratórios. Um método envolve verificar a visibilidade da marca por meio de uma API, após a desativação da pesquisa, quando um novo modelo é enviado. Pelo menos 50 respostas precisam ser coletadas para um determinado prompt. Um segundo método envolve permitir que o rastreador de treinamento acesse um site; isso inclui verificar se há alguma restrição imposta aos rastreadores devido a CDNs ou firewalls.

A página do rastreador do Google diz que Google-Extended, seu token robots.txt para Gemini, controla se o Google pode usar conteúdo rastreado para treinar futuros modelos Gemini e para fundamentação em aplicativos Gemini e em Grounding with Google Search on Vertex AI. O Google afirma que o token não afeta a inclusão de um site na Pesquisa Google e não é usado como sinal de classificação.

Por que isso é importante

O compartilhamento de citações e as menções às páginas citadas são criados com base nas referências que o ChatGPT identifica em suas respostas, portanto, deixam de fora a frequência com que nomeia uma empresa para um item onde não realiza uma pesquisa. Para os prompts de comparação do Graphite, as marcas ChatGPT raramente identificadas como nomes de empresas sem realizar uma pesquisa permaneceram baixas quando o fizeram, mesmo quando essas empresas foram referenciadas em pelo menos 15% das páginas citadas. Rastrear seus prompts por meio da API usando a pesquisa desativada quando um novo modelo é lançado fornece uma linha de base sem pesquisa. Conforme mostrado nos dados, a visibilidade com pesquisa aumentou juntamente com a visibilidade sem pesquisa e com menções às páginas citadas; no entanto, os dados não mostram que aumentar qualquer um deles aumentará a frequência com que uma marca é mencionada pelo ChatGPT quando faz pesquisas.

Olhando para o futuro

Graphite diz esperar pelo menos 2 a 5 meses entre o corte e o lançamento para que novo material apareça em um modelo de IA. A Graphite acrescenta que, como os laboratórios de IA não divulgam publicamente o que usaram para treinar (seus dados), não se sabe quais páginas foram incluídas. A taxa de citação do ChatGPT aumentou nas solicitações de comparação do Graphite do início de agosto até o final de setembro. Portanto, o rastreamento de pesquisa também precisará ser repetido.

Imagem em destaque: Samuel Boivin/Shutterstock