Ferramentas de pesquisa de IA citaram um conceito inventado em uma semana, segundo artigo
ChatGPT, Perplexity, Grok e Google AI citaram postagens sobre um conceito inventado sete dias após o surgimento das postagens, de acordo com um artigo de pesquisadores da Universidade Fudan.
Os pesquisadores publicaram as postagens de contas comuns em nove sites que as ferramentas testadas já citavam com frequência. Em dois outros tópicos, uma questão de opinião com discussão existente e um produto inventado, as mesmas quatro ferramentas obtiveram pouco resultado nos mesmos sete dias.
O artigo usa o rótulo “Google AI” e links para o site geral de IA do Google, mas não especifica qual produto do Google foi testado. Os testes foram realizados em março e abril, e o artigo foi publicado no arXiv em 8 de outubro.
Como funcionou o teste
Em março, a equipe da Fudan executou 120 perguntas por meio de 10 ferramentas de pesquisa de IA e registrou os sites citados por cada ferramenta. Os pesquisadores classificam ChatGPT, Perplexity, Grok e Google AI como ferramentas da web em inglês; os outros seis, incluindo Doubao e DeepSeek, são ferramentas da web chinesa.
Nessas questões, Reddit foi o site mais citado para Google AI e Grok, YouTube para Perplexity e Wikipedia para ChatGPT. Seis a 10 dos 10 sites mais citados de cada ferramenta aceitaram postagens de usuários comuns.
Em testes de abril de 22 plataformas de postagem, os pesquisadores classificaram Medium, GitHub, LinkedIn e Facebook como fáceis de ingressar e postar, enquanto os requisitos de carma do Reddit e exclusões estritas tornaram a postagem mais difícil.
Para cada ferramenta, a equipe escolheu o site mais citado onde uma nova conta poderia postar, o que lhes deu nove sites, incluindo Medium, YouTube e Sohu.
A equipe de pesquisa postou artigos sobre o fictício “Protocolo de Gravidade Cactus”, se a IA suplantaria os programadores juniores dentro de cinco anos e um teclado fictício. Os primeiros rascunhos de cada artigo foram criados usando ChatGPT, depois cada um foi revisado manualmente e continha detalhes plantados (por exemplo, nomes e números fabricados) para permitir que os autores identificassem se as ferramentas de IA repetiam essas informações.
Os pesquisadores realizaram verificações antes de postar para verificar se nenhuma das ferramentas fornecia uma resposta informativa a qualquer um dos tópicos fictícios ou repetia as informações plantadas. Após a postagem, os pesquisadores realizaram as mesmas cinco perguntas para cada um dos três tópicos em todas as ferramentas diariamente durante uma semana.
Em junho, cobri um artigo da Cornell Tech sobre texto plantado que testou agentes de pesquisa de código aberto em uma simulação. Essa equipe postou ao vivo na web e consultou as ferramentas por meio de suas interfaces públicas.
O que as quatro ferramentas da Web em inglês citaram
Oito das 10 ferramentas citaram o conceito inventado, o Cactus Gravity Protocol, dentro de uma semana, incluindo todas as quatro ferramentas da web em inglês. Contando as respostas desde o primeiro dia, cada ferramenta citou as postagens até o sétimo dia após a postagem, Grok criou um link para uma postagem em 30 de 32 respostas, Google AI em 15 de 33, Perplexity em 13 de 35 e ChatGPT em 7 de 20.
Menos respostas às perguntas incluíram detalhes plantados nas postagens originais. Das respostas de Grok (n = 32), 53% sim; para ChatGPT (n = 20), 10%; para Google AI (n = 33), 6%, e Perplexity (n = 35) nenhum. No total, entre todas as 10 ferramentas e todos os três tópicos, havia links de 176 das 1.004 respostas às postagens durante a semana.
A única ferramenta da web em inglês que citou uma postagem de “opinião” foi a Perplexity, em 11,4% de suas respostas (n = 35), e nenhuma das quatro postagens de teclado citadas na semana. Os autores não isolam qual tema, competição e tipo de pergunta causaram as diferenças entre os três tópicos, uma vez que todos os três mudaram juntos.
Em seguida, a equipe colocou uma postagem em Sohu, YouTube e CSDN para mais 10 tópicos inventados. Nove desenharam pelo menos uma citação ou plantaram detalhes nas 10 ferramentas, e Perplexity foi uma das três ferramentas que mais citou elas. O artigo não divulga as outras ferramentas da web em inglês.
Colocação do volume da batida nestes testes
Para avaliar a localização, os pesquisadores criaram postagens emparelhadas sobre cinco destinos de férias relativamente desconhecidos. Uma postagem foi localizada em uma fonte frequentemente referenciada pelas ferramentas; a segunda postagem foi colocada em um site que raramente ou nunca foi referenciado. Em todos os casos, a postagem na fonte frequentemente referenciada produziu a primeira referência/citação ou detalhe plantado.
O melhor caso no lado com menos referências exigiu 20 postagens e 40 postagens em um site WordPress auto-hospedado que recebeu zero referências em sete dias. Estes são apresentados pelos autores como resultados para tópicos específicos, e não como regras gerais.
Um experimento separado testou seis sujeitos fictícios usando números variados de postagens no Sohu (entre 1 e 20). O número total de citações em todas as dez ferramentas aumentou de 24 para 128. No entanto, o ChatGPT nunca gerou referências a essas postagens e o Google AI só o fez ao citar os três tópicos de menor volume. Como cada um dos volumes utilizou um assunto único, os pesquisadores referiram-se a esse aumento como uma associação e não como um efeito do aumento do número de postagens.
Por último, a equipe de pesquisa comprou um pacote de postagem na web chinês por meio de um fornecedor GEO por US$ 14. Todas as 13 postagens foram entregues na web aproximadamente 28 minutos após a compra. Uma referência Doubao a uma das postagens incluindo um detalhe plantado ocorreu dentro de uma hora após a entrega e é apresentada pelos autores como um exemplo confirmado de sucesso, não uma taxa de sucesso.
Por que isso é importante
O tópico que todas as ferramentas da web em inglês citadas em uma semana existia apenas nas postagens dos pesquisadores. Postagens sobre os outros dois tópicos, uma pergunta de opinião e um produto inventado, em sua maioria não chegavam às mesmas ferramentas.
Nenhum dos tópicos sobre os quais os investigadores publicaram era uma marca ou produto real, pelo que os testes não mostram se o mesmo padrão se aplica às pesquisas de marcas ou produtos, incluindo aquelas com pouca cobertura noutros locais.
O guia do Google para seus recursos de IA diz que buscar “menções” não autênticas “não é tão útil quanto pode parecer”, apontando para sistemas básicos de classificação que se concentram em conteúdo de alta qualidade e outros sistemas que bloqueiam spam. O jornal não diz qual produto do Google foi verificado.
Olhando para o futuro
Os testes dos pesquisadores foram realizados em março e abril, antes do Google esclarecer em 15 de maio que suas políticas de spam cobrem tentativas de manipular respostas generativas de IA na Pesquisa Google. Os autores dizem que as taxas exatas podem variar à medida que as ferramentas mudam.
Os pesquisadores afirmam que divulgaram o que encontraram para todas as 10 plataformas e que ChatGPT, Perplexity e Google AI estavam entre aqueles que confirmaram o recebimento. Atualizarei esta história se uma versão revisada do artigo alterar as descobertas.
Imagem em destaque: miss.cabul/Shutterstock
