O teste de citação de IA descobre que a ordem da origem é menos importante do que parece

Uma nova pré-impressão testou se o ajuste de apenas uma parte de uma fonte altera as citações de pesquisa de IA, com todo o resto mantido igual. Nos números brutos, o resultado principal foi citado duas vezes mais que o quinto. Quando os investigadores Sriram Selvam e Anneswa Ghosh inverteram a ordem das fontes correspondentes, o impacto foi muito menor e mediu zero num teste de acompanhamento.

Postado no arXiv em 14 de setembro, o artigo não foi revisado por pares. O estudo abrange um agente de pesquisa GPT-5.4 que usa Exa como provedor de pesquisa, apresentando conversas reproduzidas offline e sem edições de páginas da web ao vivo.

Como funcionou o teste

Os pesquisadores levaram o agente GPT-5.4 a responder 130 perguntas comuns, fazendo com que ele realizasse pesquisas independentes na web. Eles registraram todas as mensagens e resultados de pesquisa das 129 questões abordadas. A partir dessas transcrições, eles escolheram pares de páginas que apareceram nos mesmos resultados de pesquisa e foram selecionadas como apoiando o mesmo fato. Essa triagem teve como objetivo encontrar situações em que qualquer uma das páginas pudesse ser citada de forma justa. Quando foram identificadas correspondências verdadeiras, quaisquer diferenças de crédito foram devidas à forma como o modelo distribuiu o reconhecimento entre as duas fontes, ambas confirmando o mesmo facto.

Isso deixou 113 pares. Um teste humano cego posterior confirmou 103 deles como correspondências genuínas. Os pesquisadores reproduziram cada conversa salva de quatro maneiras, colocando uma página acima ou abaixo da outra e mostrando seu texto como parágrafos simples ou reescrito com títulos e listas ou uma tabela. Apenas a resposta final foi gerada novamente.

Ambas as versões do texto foram geradas por reescritas de IA da página original. O Grok 4.3 criou quase todos eles, com o GPT-5.4 usado como substituto para um par, e uma revisão separada do Grok verificou se os fatos correspondiam. A redação varia entre as duas versões, portanto os autores observam que o teste compara duas reescritas, mas não isola especificamente as diferenças de formatação.

A lacuna de posição bruta foi maior que os efeitos de troca

Na posição inicial de uma chamada de busca, as páginas foram citadas 85,1% das vezes em transcrições salvas, em comparação com 42,8% das páginas na quinta posição. Isso cria uma diferença de 42,3 pontos percentuais.

Aqui, ‘posição’ significa simplesmente a ordem dos cinco resultados do Exa retornados em uma única pesquisa, e não a classificação de uma página no Google ou sua posição na web ao vivo.

O estudo destaca que os provedores de pesquisa geralmente colocam páginas mais relevantes no topo, de modo que a diferença bruta reflete tanto a posição quanto a qualidade das páginas. Quando os pesquisadores moveram a mesma página para cima dentro de seu par, a chance de ela ser citada aumentou 7,9 pontos percentuais. No entanto, esta descoberta não foi considerada estatisticamente significativa após contabilizar vários testes.

Outro conjunto de testes com 56 pares, onde apenas a ordem foi trocada, apresentou estimativa de 0,0 ponto, com intervalo de confiança de 95% de -5,4 a +5,4.

O estudo explica que o gap bruto e os resultados do swap medem aspectos diferentes. No geral, sugere que a posição influenciou as citações em alguns casos, mas as médias dos dados brutos de posição não são confiáveis.

As reescritas estruturadas obtiveram mais crédito, não uma entrada mais clara

As páginas que foram reescritas com títulos e listas receberam em média 0,50 marcadores de citação a mais por resposta em comparação com as mesmas páginas escritas como parágrafos simples, com intervalo de confiança de 95% de 0,20 a 0,84. As respostas do teste foram fortemente citadas, com uma mediana de 29 marcadores em seis documentos.

O número total de citações por resposta não aumentou e o número na outra página quase não mudou. Os autores veem isso como um crédito mais focado na página reescrita.

O principal teste realizado pelos pesquisadores, planejado antes de iniciar o experimento, foi verificar se a página era citada. Eles descobriram que o uso de texto estruturado aumentou essa probabilidade em 4,5 pontos percentuais, com um intervalo de 95% de -1,4 a +10,4. O artigo aponta que este resultado não é conclusivo e menciona que o estudo poderia detectar de forma confiável apenas efeitos de cerca de 8,5 pontos ou mais.

Uma comparação mais rigorosa, onde cada palavra permaneceu a mesma, mas o layout foi ajustado para uma frase por linha da lista, aumentou as taxas de citação em todos os 113 pares. Quando repetiram o teste com um subconjunto, o efeito se inverteu.

Na seção de discussão do artigo, os autores compartilharam estes insights:

“Este é um aviso de sensibilidade à atribuição, não uma tática de otimização.”

Repetições de resultados de citação alterados

Os pesquisadores testaram 120 respostas novamente usando as mesmas informações e descobriram que a decisão de citar ou não a página alvo mudou em 15% desses casos, aproximadamente um em cada sete.

O efeito da contagem média permaneceu consistente nessas repetições. Eles estimam que cerca de 45% da variação no efeito de uma única execução se deve à aleatoriedade do modelo.

Os autores recomendam repetir os testes de citação várias vezes e compartilhar a consistência dos resultados nessas execuções.

Além disso, SparkToro relatou em janeiro que o ChatGPT e as visões gerais de IA do Google produziram, cada um, a mesma lista de marcas menos de 1% das vezes quando recebiam a mesma solicitação repetidamente.

Por que isso é importante

A lacuna de posição bruta neste teste foi muito maior do que o efeito médio observado quando os pesquisadores trocaram a ordem das fontes. Um relatório do Ahrefs de maio mostrou que as páginas citadas pela IA tinham cerca de três vezes mais probabilidade de incluir o esquema JSON-LD, mas a adição do esquema não aumentou claramente as citações.

Isso levanta questões sobre se uma correlação em um relatório de fornecedor ou seu rastreamento já foi testada alterando a variável, e uma única resposta é uma base fraca para rotular uma citação como ganha ou perdida.

O estudo não pode confirmar se a reformatação de uma página ativa aumenta as citações, uma vez que as reescritas são aplicadas apenas ao texto já recuperado, excluindo processos de rastreamento, recuperação e classificação.

Olhando para o futuro

Os pesquisadores executaram novamente as pesquisas salvas no Grok 4.3, descobrindo que as reescritas estruturadas seguiam a mesma tendência. No entanto, menos da metade das primeiras respostas de Grok seguiram o formato de citação correto.

Os autores recomendam mais pesquisas para testar cada cenário algumas vezes, explorar diferentes provedores e modelos de pesquisa e prestar atenção à frequência com que as citações ocorrem e se uma página é citada.

Imagem em destaque: Accogliente Design/Shutterstock