API da OpenAI corresponde apenas parcialmente às citações do ChatGPT, revela artigo

Os resultados de pesquisa do Google e a API de respostas da OpenAI juntos encontraram 26,2% das páginas que o ChatGPT citou nos testes de pré-impressão da configuração instantânea do GPT-5.5. Eles encontraram 48,7% dos sites por trás dessas citações.

Os números deste artigo foram publicados em 11 de outubro por pesquisadores da Universidade Nacional de Cingapura e da Universidade Xi’an Jiaotong. Incluía quatro versões do ChatGPT, de GPT-5.2 Instant a GPT-5.5 Instant, junto com a maior parte da coleta de dados de 29 de março a 29 de julho de 2026. Os dois substitutos puderam ser consultados sem a necessidade de abrir o ChatGPT; os pesquisadores compararam os resultados de ambos os substitutos quanto à semelhança com as páginas citadas pelo aplicativo da web do ChatGPT.

Como os pesquisadores assistiram ao ChatGPT

Os pesquisadores registraram o fluxo de dados que o aplicativo web do ChatGPT recebeu durante seu processo de escrita, registrando o que estava acontecendo em suas próprias sessões de login. Neste fluxo de dados você pode ver as pesquisas realizadas pelo ChatGPT, quais páginas resultaram das pesquisas e as páginas que o ChatGPT escolheu como fontes. Uma página foi contada como citada se o ChatGPT a selecionasse como fonte; ou seja, tanto as páginas que são listadas individualmente como seu próprio link quanto as páginas em agrupamentos incluídas como uma única seleção como fonte.

Foram 80 perguntas. Essas 80 perguntas foram originadas do Search Arena. Este é um banco de dados público de interações reais do usuário com chatbots/modelos de IA habilitados para pesquisa. Foram usados ​​dois idiomas nessas 80 questões: 40 inglês e 40 chinês. Foram feitos quatro tipos de solicitações: recomendação, consulta de fatos, síntese e análise de informações. Cada uma das 80 questões foi executada 20 vezes no GPT-5.3 Instant e no GPT-5.5 Instant. GPT-5.2 Instant e GPT-5.4 Thinking tiveram menos perguntas executadas devido ao fato de terem sido desativados antes da conclusão da coleta de dados.

Para criar os substitutos, os pesquisadores recuperaram até cinco páginas de resultados orgânicos do Google por pergunta por meio da SerpAPI para cada uma das 80 perguntas. Em média, obtiveram cerca de 43 resultados por pergunta. Para cada pergunta, os pesquisadores também enviaram 20 consultas para gpt-5.3-chat-latest e gpt-5.5 por meio da API Responses da OpenAI, com pesquisa na web habilitada. Tudo isso foi feito três dias após a execução do ChatGPT exatamente para a mesma consulta. O artigo é uma pré-impressão do arXiv. arXiv não faz revisão por pares de artigos.

Sites correspondentes substitutos com mais frequência do que páginas

Combinados, os resultados do Google e a API encontraram 28,3% das páginas GPT-5.3 Instant citadas e 26,2% das páginas GPT-5.5 Instant citadas. Em termos de sites, a mesma combinação encontrou 50,3% e 48,7% de todos os sites citados (sendo os subdomínios tratados como sites diferentes). O artigo chama uma página de citada se ela tiver sido citada no ChatGPT em pelo menos uma das 20. As porcentagens são então as médias das 80 perguntas.

Somente os resultados de pesquisa do Google representaram 9,4% e 6,4% das páginas citadas e 26,1% e 22,8% dos sites citados. Toda a lista de fontes da API foi responsável por mais do que isso, mostrando 22,9% e 22,5% de todas as páginas citadas. As páginas citadas pela API em suas próprias respostas cobriam menos; entretanto, ao compará-los com as citações do ChatGPT, podemos ver que eles eram mais próximos. Ao observar as médias das 80 perguntas, o GPT-5.5 Instant também citou 23,3% das páginas citadas pela API. Isso é maior do que a porcentagem de páginas citadas pela API que foram citadas pelo GPT-5.3 Instant (16,4%).

ChatGPT reescreveu perguntas e alterou as fontes entre as execuções

A página de ajuda do OpenAI explica que quando a pesquisa ChatGPT utiliza um provedor externo, geralmente transforma uma consulta em um ou mais termos de pesquisa específicos. Nas execuções do GPT-5.3 Instant e do GPT-5.5 Instant em que as pesquisas podiam ser vistas, o ChatGPT nunca consultou usando o texto exato da pergunta original. No entanto, no GPT-5.2 Instant, isso ocorreu em 5,5% de todas as execuções.

Entre as execuções que incluíram pesquisas visíveis para perguntas escritas em chinês, GPT-5.3 Instant (67,0%) e GPT-5.5 Instant (69,6%) utilizaram apenas o idioma inglês. Além disso, em fevereiro, discuti os resultados do Peec AI que descobriu que, em seus testes, 43% das consultas de distribuição para prompts em idiomas diferentes do inglês foram executadas em inglês.

Além disso, houve variação nos resultados entre execuções individuais. Por exemplo, 44,5% das páginas distintas retornadas para uma determinada pergunta foram mostradas em apenas uma das 20 execuções instantâneas do GPT-5.5. Da mesma forma, 40,8% das páginas distintas retornadas para uma determinada pergunta foram mostradas em apenas uma das 20 execuções instantâneas do GPT-5.3. O grau de sobreposição entre as execuções foi maior no nível do site do que no nível da página. Além disso, conforme observado pelos autores, embora as páginas que apareceram em mais das outras execuções associadas a uma questão específica tivessem maiores probabilidades de serem referenciadas, eles notaram que isso não indica que a citação seja influenciada pela frequência de aparecimento de uma determinada página.

Anteriormente, abordei a pré-impressão do CiteChoice sobre como a reexecução de entradas idênticas inverteu 15% das decisões de citar ou não. Aqui, duas sessões de coleta fizeram a transição para outro modelo após 14 e 16 execuções, respectivamente, e os autores sugerem, portanto, verificar qual modelo gerou cada resposta.

Por que isso é importante

Nos testes descritos aqui, nem os resultados da API do OpenAI nem os resultados de pesquisa do Google mostraram as páginas citadas do ChatGPT exatamente como foram citadas. Isso significaria que uma API OpenAI ou um teste baseado em classificação do Google encontraria uma parcela maior do(s) mesmo(s) site(s) do que da(s) mesma(s) página(s).

As sugestões dos autores sobre como monitorar são monitorar tanto no nível de páginas da web individuais quanto de sites, executar o mesmo prompt várias vezes e levar em consideração o fato de que o ChatGPT reescreve seus prompts em suas próprias pesquisas. Verifique se alguma comparação dos resultados no nível da página da web de uma ferramenta de rastreamento com os relatórios do ChatGPT usa dados coletados por meio da API ou diretamente por meio do aplicativo ChatGPT. O jornal não testou nenhuma ferramenta comercial de rastreamento.

Olhando para o futuro

Cada configuração no artigo é anterior ao GPT-5.6 e GPT-6. A página de ajuda do modelo da OpenAI observa que o GPT-6 está sendo implementado no Chat para usuários Plus, Pro, Business e Enterprise qualificados, enquanto o GPT-5.6 Luna está se tornando o padrão para usuários Free and Go.

Perto da mudança do GPT-5.5 em maio, os dados do Sistrix mostraram que a variação diária nas citações do ChatGPT em alemão saltou para 47%, contra o normal de 1% a 2%. Os autores do artigo dizem que as estratégias de monitoramento devem ser reavaliadas quando o modelo por trás do ChatGPT mudar. Até que a comparação se repita no GPT-6, os números do jornal descrevem os modelos que vigoraram de março a julho.

Imagem em destaque: Accogliente Design/Shutterstock

Marca OpenAI: OpenAI.