Reddit AI Search escolhe comentários já populares, descobertas de auditoria

A pesquisa de IA do Reddit tinha mais probabilidade de incluir comentários formais e já votados em suas respostas do que comentários com mais marcadores de experiência pessoal, de acordo com uma nova pré-impressão de pesquisadores da Universidade de Illinois Urbana-Champaign.

A equipe processou 10 mil perguntas por meio do recurso três vezes e analisou 30 mil respostas rastreando-as por meio de 14,68 milhões de comentários. Essas perguntas originaram-se de 20 subreddits de aconselhamento e suporte, portanto, as descobertas abrangem esse segmento do Reddit, embora o artigo não tenha sido submetido à revisão por pares.

Além disso, as respostas não continham quase nada da linguagem da primeira pessoa nos comentários citados, uma mudança que, segundo os autores, transforma o testemunho pessoal em conselhos mais gerais.

A linguagem formal estava ligada a maiores probabilidades de seleção

Os pesquisadores analisaram os comentários que uma resposta citou ou listou como fonte e os compararam com outros comentários na mesma discussão que a resposta ignorou.

Eles descobriram que o nível de formalidade era o preditor de linguagem mais forte para a escolha dos comentários. Especificamente, quando um comentário era um desvio padrão mais formal, tinha probabilidades 49% maiores de ser selecionado (odds ratio 1,488), com a formalidade pontuada por um classificador de texto. Além disso, comentários que usaram palavras como “deveria” e “devem” também tiveram maiores chances de serem escolhidos (1,070).

Comentários com mais marcadores de experiência pessoal tiveram menores chances de seleção (0,789), assim como linguagem de apoio (0,924). O artigo chama a primeira medida de voz experiencial e a pontua a partir de características como pronomes de primeira pessoa e pretérito.

A formalidade também foi associada a uma votação mais elevada na comunidade, enquanto a voz experiencial foi associada a uma votação mais baixa. Depois que os pesquisadores contabilizaram a pontuação, a posição e a idade de um comentário, as associações diminuíram para 1,213 para formalidade e 0,860 para voz experiencial.

O artigo não mostra que a escrita formalmente faz com que um comentário seja selecionado. Os autores escrevem: “Nosso estudo é observacional e não deve ser interpretado causalmente”.

Comentários que já eram visíveis tinham uma vantagem

A classificação de votos de um comentário em seu tópico mostrou a maior associação no modelo de seleção, com um aumento de um desvio padrão multiplicando as chances de ser escolhido por 2,88.

A mediana do comentário selecionado estava no percentil 91 para pontuação em seu tópico, em comparação com o percentil 45 para comentários não escolhidos. Dos comentários selecionados, 92% foram respostas diretas à postagem original, que também representou 53% de todos os comentários. Além disso, os comentários selecionados apareceram em média 1,2 horas após a postagem, enquanto os comentários não selecionados apareceram em média 5,9 horas.

Um aumento de um desvio padrão no comprimento dos comentários teve uma razão de chances de 1,79. Comentários contendo link externo tiveram odds ratio de 2,25.

Os comentários com pontuação zero ou inferior representaram 0,53% dos comentários selecionados e 5,1% de todos os comentários coletados.

A resposta escrita abandonou a maior parte da linguagem de primeira pessoa

Em uma análise de 1.000 consultas, os pesquisadores compararam os comentários citados do Reddit com as respostas elaboradas em torno deles. O uso de palavras como “eu” e “meu” diminuiu de 3,3% nos comentários citados para 0,06% nas respostas.

As mesmas consultas foram processadas por meio de GPT-4o-mini e GPT-5 por meio da API OpenAI com pesquisa na web habilitada. Ambos os modelos usaram menos linguagem em primeira pessoa do que os comentários do Reddit, com as respostas do Reddit mostrando a maior redução.

No geral, de 4.932 citações, 18 fizeram referência ao Reddit em modelos e configurações de pesquisa. Esses dados são baseados em chamadas de API para consultas de aconselhamento, que diferem da configuração usada no aplicativo ChatGPT.

Como funcionou a auditoria

Os pesquisadores usaram um LLM para reescrever postagens reais dos 20 subreddits em consultas de pesquisa curtas. Dez são comunidades grandes, como r/personalfinance e r/AskDocs, e dez são comunidades menores, como r/UKJobs e r/AusLegal.

As três execuções foram espaçadas em cerca de cinco horas para que as diferenças refletissem o sistema e não as alterações no Reddit. Quando duas execuções retiradas das mesmas postagens de origem, as respostas foram quase idênticas. Isso mostra que a maioria das diferenças veio das postagens que o sistema escolheu recuperar.

Uma resposta típica usava cerca de sete subreddits diferentes. O subreddit onde a pergunta foi feita pela primeira vez contribuiu com 17,7% das postagens recuperadas no conjunto de grandes comunidades e 15,7% no conjunto de pequenas comunidades. Os autores mencionam que não veem uma parcela maior como melhor.

O artigo se refere a esse recurso como Reddit Answers, que era seu nome quando relatei seu lançamento pela primeira vez em dezembro de 2024. A página de anúncio do Reddit agora mostra uma atualização de 26 de maio de 2026, afirmando: “Reddit Answers agora está mesclado com a pesquisa do Reddit para uma experiência de pesquisa unificada”.

As perguntas foram criadas a partir de postagens datadas de julho de 2026, portanto essas execuções aconteceram após essa mudança, embora o jornal não especifique as datas de coleta. A página de ajuda do Reddit agora descreve o recurso como pesquisa de IA, acessível por meio de um botão Perguntar na barra de pesquisa.

Por que isso é importante

O valor do Reddit para pesquisa de público são as pessoas que descrevem sua própria experiência com um produto ou problema. Nessas 20 comunidades, os comentários com mais marcadores dessa experiência tinham menos probabilidade de chegar à resposta da IA, e a maior parte do texto em primeira pessoa desapareceu quando isso aconteceu.

O CEO do Reddit, Steve Huffman, disse aos investidores em fevereiro que o Reddit é particularmente bom em questões em que “a resposta, na verdade, são múltiplas perspectivas de muitas pessoas”. Esta auditoria mediu quais dessas perspectivas alcançaram a resposta da IA.

Você verá os tópicos de origem listados abaixo de cada resposta. Certifique-se de lê-los primeiro, antes de incluir o resumo em seu relatório.

Olhando para o futuro

Os autores dizem que estes padrões de seleção podem não ser transferidos para outros tipos de comunidades ou para outros sistemas de pesquisa de IA. Atualizarei esta história se uma versão revisada ou revisada por pares alterar as descobertas.

Imagem em destaque: Accogliente Design/Shutterstock