Estava lá há um minuto

Desde o final do ano passado, navegar no arXiv e ler artigos de pesquisa tornou-se uma espécie de hobby. Gosto de conectar descobertas entre artigos, vendo o que elas podem ajudar a explicar sobre o mundo ainda opaco da visibilidade da IA. Os estudos fazem perguntas mais restritas do que costumamos fazer na Pesquisa, mas lê-los em conjunto me dá uma maneira melhor de questionar as explicações que nos são oferecidas.

Um exemplo recente começa com um modelo que já respondeu corretamente. Então, uma ferramenta retornou a informação errada e o modelo a acompanhou.

O MemToC testa o que acontece quando a resposta do próprio modelo de linguagem entra em conflito com as informações retornadas por uma ferramenta externa.

A ferramenta fornece informações para o modelo usar em sua resposta, da mesma forma que a recuperação fornece passagens no RAG. Aqui, os pesquisadores testam especificamente os retornos da ferramenta executada.

Os pesquisadores primeiro exigiram que os modelos dessem as melhores respostas a questões factuais sem ferramentas, depois perguntaram novamente com retornos controlados de ferramentas. Eles examinaram casos em que um modelo ajustado por instrução respondeu corretamente e a ferramenta forneceu uma resposta incorreta. Nos quatro modelos, a retenção de respostas corretas variou de 6,5% a 17,1%, com resultados agrupados em três instruções.

O modelo acabara de dar a resposta correta. Isso faz com que “não sabe” seja uma explicação pobre por si só. Mas acertar um facto uma vez não nos diz com que fiabilidade o modelo o aprendeu, ou se essa resposta sobreviverá a informações contraditórias.

Agora imagine que tudo o que você consegue ver é a resposta final, e o fato que falta diz respeito à sua marca. Você recebe uma célula vermelha em um relatório de visibilidade. Alguém tem que explicar isso na próxima reunião com o cliente.

Quero saber como essa explicação é escolhida. Uma contagem de aparições informa o que aconteceu nas respostas que você coletou. Chamar o glóbulo vermelho de problema de autoridade requer evidências que a contagem não contém. Convenientemente, sugere algum trabalho para faturar.

A resposta mudou, o que mais mudou?

Os pesquisadores do MemToC podem comparar a resposta final com a resposta anterior do modelo e o retorno controlado da ferramenta. Isso permite-lhes testar se uma resposta correta sobrevive a evidências contraditórias. Numa amostra de anotação separada de 120 respostas a devoluções incorretas de ferramentas, abrangendo cinco modelos e ambos os casos de conflito, nenhuma reconheceu explicitamente o desacordo. Esse resultado está limitado às respostas inspecionadas; não pode estabelecer que os modelos nunca sinalizam conflitos.

Estes foram testes controlados, principalmente em modelos de peso aberto com 7 a 9 bilhões de parâmetros. As porcentagens não podem ser aplicadas à pesquisa ChatGPT ou às visões gerais do Google AI.

Já escrevi sobre contaminação por recuperação. MemToC acrescenta uma complicação: o modelo pode dar a resposta correta e ainda assim adiar as informações erradas retornadas por uma ferramenta.

Talvez a resposta correta seja mais fácil de ser descartada quando o modelo aprendeu o fato de forma menos confiável. Um aprendizado mais forte poderia torná-lo mais resistente a informações conflitantes. O modelo também pode dar mais peso à resposta da ferramenta devido à forma como essas informações são apresentadas. Os números de retenção por si só não nos dizem qual explicação se aplica.

Isso deixa uma questão útil para testar: Será que reforçar o que o modelo aprende melhora tanto as suas respostas sem ferramentas como a sua capacidade de reter informações corretas quando uma ferramenta as contradiz?

Uma deficiência de conteúdo e um conflito de origem podem produzir a mesma menção ausente em um relatório de visibilidade. Se o próximo slide recomendar outra página, gostaria de saber como resolvemos um problema de conteúdo. Contar a ausência novamente não responderá a isso.

Mesmo sem uma fonte concorrente, a inferência do silêncio à falta de conhecimento é instável. Prateleiras vazias ou chaves perdidas? testa a lacuna entre reproduzir um fato com fortes pistas contextuais e responder perguntas sobre ele de forma confiável.

Os autores consideram um facto “codificado” se o modelo o reproduz sob qualquer uma de duas fortes sondagens contextuais. Seu teste de resposta confiável é mais rigoroso: exige respostas corretas em todas as quatro variantes, cobrindo duas frases e ambas as direções de uma relação factual. Essa diferença nos critérios de aprovação ajuda a moldar a lacuna medida. Nenhum dos testes inspeciona diretamente os pesos.

GPT-5 e Gemini-3 passam nas sondas de codificação para 95-98% dos fatos do benchmark, enquanto a recuperação confiável permanece mais fraca. Fatos raros e questões inversas são problemas particulares. O pensamento recupera uma parcela substancial dos fracassos.

O estudo utiliza fatos derivados da Wikipédia, por isso não pode nos dizer com que frequência isso acontece com recomendações de marcas comerciais. Se uma dica útil traz uma resposta, chamar o fato de ausente é muito simples. O aprendizado adicional ainda pode tornar a resposta mais confiável. Eu gostaria de ver isso testado antes que a proposta se transforme em fatura.

Pergunte sobre uma marca nomeada e você já forneceu a marca. Fazer uma pergunta sobre a categoria de um comprador deixa o sistema produzir o nome. Eu não trataria isso como evidência intercambiável de visibilidade, e esta referência não fornece base para fazê-lo.

Mesmo abrir o modelo não resolve

Dos parâmetros às respostas examina a computação dentro do modelo. Os investigadores fazem perguntas entre países e continentes e, em seguida, estimam os sinais internos associados ao país questionado e ao seu continente. Eles removem ou invertem partes desses sinais enquanto mantêm fixos os pesos do modelo.

Os pesquisadores podem ler um sinal antes que suas alterações tenham um efeito detectável na resposta. Nos testes de países emparelhados, a resposta depende menos de um sinal de pedido partilhado em camadas posteriores, enquanto o conteúdo medido ainda o afeta. Estime o sinal de solicitação de maneira diferente, e alterá-lo ainda pode afetar a resposta no final do cálculo.

A conclusão depende de qual sinal é medido e como ele é alterado. Não nos fornece um diagrama universal de como cada modelo recupera um fato da memória. Um slide rotulando seu problema como “falha de recall” precisaria de evidências próprias.

Mesmo com acesso à computação interna do modelo, os pesquisadores precisam separar o que podem detectar daquilo que podem mostrar que afeta a resposta. Compare isso com o diagnóstico de uma marca ausente apenas pela resposta. Adicionar vocabulário técnico ao slide não fornece o experimento que faltava.

Nenhum desses estudos mede a mesma coisa. MemToC testa respostas a evidências conflitantes de ferramentas; Prateleiras Vazias comparam a reprodução fortemente orientada com respostas confiáveis; Desde Parâmetros intervém nas ativações internas. Combiná-los em um funil organizado criaria um modelo que nenhum dos artigos testou.

O gráfico pode estar certo

Uma empresa pode razoavelmente preocupar-se se os compradores encontram o seu nome, independentemente do mecanismo interno. Uma amostra de respostas cuidadosamente definida pode descrever um resultado que vale a pena observar. Você não precisa localizar um fato dentro de um modelo para contar uma menção.

Tenho uma contribuição pessoal para este problema. Há dois meses, anunciei no LinkedIn que era o “especialista em visibilidade de IA mais renomado do mundo”. O processo de nomeação foi surpreendentemente rápido.

As pessoas que procuram (especialista em visibilidade de IA mais renomado do mundo) ainda encontram minha postagem original citada nas visões gerais de IA do Google. Provavelmente é porque eu sou 😅.

Muitos também têm tentado experiências semelhantes por conta própria. Edward Sturm me perguntou se isso teria funcionado sem meus mais de 20 anos de experiência em SEO e recuperação de informações. Eu disse a ele que provavelmente não. Esse é o meu julgamento, no entanto. O resultado por si só não nos diz qual o papel que essa experiência desempenhou.

A resposta pode descrever explicitamente o título como uma piada que eu mesmo fiz e ainda me nomear e citar a postagem.

Um contador registrando apenas se meu nome apareceu marcaria essa resposta tão felizmente quanto um endosso direto. Explicar por que as pessoas estão me chamando de especialista é o suficiente para registrar uma menção. Antes de colocar isso em um relatório de autoridade, alguém provavelmente deveria ler a frase.

A consulta também é importante. Ele repete o texto distinto da minha postagem. Isso nos diz pouco sobre se um comprador que fizesse uma pergunta comum sobre a visibilidade da IA ​​me encontraria. Também não estabelece que a afirmação inseriu os pesos de um modelo ou que a resposta do Google mudou através do mecanismo testado no MemToC.

A minha crítica anterior à medição da visibilidade da IA ​​necessita dessa qualificação. Podemos contar as aparências. Ainda precisamos de provas de que a amostra representa as experiências dos compradores e de mais provas para explicar uma mudança.

Suponha que sua marca apareça em menos respostas este mês. Amostras repetidas podem mostrar que a diferença é maior do que a variação normal nas condições testadas. Isso estabeleceria uma mudança no resultado medido, deixando a sua causa em aberto.

Talvez o modelo tenha mudado, ou as fontes fornecidas tenham mudado. Diferentes questões também podem ser importantes. “Aparecemos com menos frequência” não diz qual dessas possibilidades seguir.

Se errar no diagnóstico, uma equipe competente poderá passar semanas em um trabalho que nunca resolve a falha. Uma alegação de que o conteúdo é inadequado provavelmente direcionará o orçamento para mais trabalho de conteúdo. Se o problema proposto é que o modelo não aprendeu a marca, a conversa se volta para os dados de treinamento.

Uma equipa pode ter boas razões para testar uma intervenção antes de esta ter uma explicação completa. Uma melhor aprendizagem pode melhorar a recordação confiável ou ajudar respostas corretas a sobreviver a informações conflitantes. Esses são resultados que valem a pena testar em diferentes questões e condições.

Uma melhoria controlada daria ao trabalho uma base comercial defensável, mesmo que o mecanismo permanecesse parcialmente obscuro. Não provaria automaticamente o diagnóstico original. “Temos uma hipótese que vale a pena testar” é um ponto de partida perfeitamente respeitável para uma proposta.

Se você estiver recomendando mais conteúdo, mostre-me o que torna um problema de conteúdo a melhor explicação. Esses artigos dizem o que testaram e onde param suas conclusões. Não vejo por que uma reivindicação comercial merece uma isenção.

Se você está me vendendo um remédio para aqueles glóbulos vermelhos, que evidências indicam qual problema eu tenho?

Mais recursos:

Esta postagem foi publicada originalmente no The Inference.

Imagem em destaque: Roman Samborskyi/Shutterstock