62% das recomendações de marcas de IA desaparecem após uma pergunta do comprador

Zahir Hasan não precisou me dizer que os números de sua empresa estavam errados.

Eu enviei a Hasan, COO da empresa de pesquisa Clovion AI, com sede em Oslo, uma lista de questões metodológicas sobre “Sobrevivendo ao funil de IA”, o novo estudo de Clovion sobre como Claude, ChatGPT e Gemini recomendam marcas em uma conversa. A pergunta dez era rotineira, o tipo de coisa que se faz a toda equipe de pesquisa. O relatório diz que os três assistentes de IA se contradizem categoricamente sobre os fatos da marca 15% das vezes, com base em 33 contradições verificadas. 33 foi realmente suficiente para apoiar uma afirmação sobre qual modelo tende a vender menos que as características de uma marca e qual tende a superá-las?

A resposta de Hasan não foi uma defesa do número. Foi uma correção. “O número real é 330”, ele respondeu. “Um designer deixou cair zero no layout.” A mesma vírgula decimal, disse ele, também transformou 2.040 marcas em “204” na página sete do PDF que me foi enviado antes de sua publicação. Uma versão revisada será lançada esta semana. Então, obtive os números corrigidos primeiro.

Essa é uma maneira estranha de começar uma coluna sobre um relatório de pesquisa de IA, admitindo antes de mais nada que o relatório preliminar continha um erro. Mas é a maneira mais honesta de entrar, porque a correção diz algo que as estatísticas principais do estudo nunca poderiam dizer. Ler as respostas da IA corretamente, seja você um profissional de marketing tentando descobrir se o ChatGPT está recomendando seu produto ou um pesquisador construindo um estudo sobre ele, se resume a capturar a vírgula decimal antes de construir uma estratégia sobre ele.

O funil, recapitulado

Deixe o erro de digitação de lado por um momento e a pesquisa subjacente se manterá. Clovion realizou 69.120 conversas multiturno entre os três assistentes em 36 categorias de software B2B e fintech, fazendo uma pergunta inicial como “melhores ferramentas de CRM?” e então um único acompanhamento realista. Fazer novamente a mesma pergunta manteve intacta 90% da lista recomendada. Adicionando um detalhe comum do comprador, algo tão simples como “para uma equipe pequena”, manteve apenas 28%. Sessenta e dois por cento das marcas que deram a primeira resposta já desapareceram na segunda.

Perguntei a Hasan se a “equipe pequena” foi escolhida a dedo para produzir aquela queda. Não foi. Sua equipe também testou “para uma grande empresa” e obteve uma rotatividade quase idêntica, cerca de 72% de qualquer maneira, contra cerca de 10% quando a pergunta foi simplesmente repetida. A lista não é instável. É responsivo e principalmente depende se o modelo decidiu para quem a marca realmente se destina.

Essa é a parte que vale a pena se você ganha a vida trabalhando com SEO ou estratégia de marca. Ser nomeado em uma resposta de IA não é a mesma coisa que receber a confiança dela. Um modelo que coloca você em sua primeira lista de CRM ainda pode eliminá-lo no momento em que um comprador se torna específico, e os dados de Clovion dizem que isso acontece na maioria das vezes, não algumas vezes.

A correção altera a forma do número menor e mais citado

É aqui que o decimal fixo realmente importa para a forma como você deve ler este estudo. O número antigo, 33 contradições verificadas, era pequeno o suficiente para que qualquer afirmação por modelo construída sobre ele permanecesse em gelo fino. Corrigido, é 330, e o detalhamento por modelo que Hasan compartilhou é muito mais revelador do que o valor agregado de 15% que o relatório preliminar apresenta: Claude subestima os recursos próprios de uma marca 160 vezes contra 10 afirmações exageradas. ChatGPT subestima 70 vezes e nunca supera. Gêmeos segue na direção oposta, reivindicando 80 vezes a mais contra 30 reivindicações a menos.

A teoria de trabalho de Hasan, extraída de um estudo separado, ainda não publicado, da Clovion sobre onde cada modelo obtém suas respostas, é que a Gemini se apoia mais fortemente em material de marketing e vídeo, por isso tende a creditar a uma marca tudo o que ela está promovendo. Claude e ChatGPT se apoiam mais na documentação e nas páginas do produto, descrevem o produto principal com precisão e evitam “não o possui” quando um recurso mais recente não está bem documentado. Se isso se confirmar no estudo que Clovion ainda não lançou, significa que a direção do erro de um assistente de IA sobre o seu produto é uma função do tipo de conteúdo que você colocou na frente dele e onde esse conteúdo reside.

Passei mais de 20 anos dizendo aos clientes que uma boa classificação e uma descrição precisa são dois problemas diferentes. Esta é a evidência mais clara que vi de que agora eles têm o mesmo problema, ocorrendo em uma única conversa, e que a solução depende de qual assistente está fazendo a descrição incorreta.

Por que ninguém pega o zero que falta

Frederick Vallaeys tem uma história em seu livro “The AI-Amplified Marketer” que explica exatamente por que uma vírgula decimal sobrevive até a publicação. Certa vez, um relatório automatizado sinalizou “ótimo desempenho” em uma palavra-chave porque seu custo por aquisição estava muito acima da meta. Em algum lugar do sistema, o alto foi trocado pelo bom, quando um CPA alto é uma má notícia, e não uma boa notícia. Qualquer um que folheasse o resumo teria acenado com a cabeça, porque a frase foi lida sem problemas, embora seu significado tivesse mudado.

Vallaeys vincula isso à pesquisa sobre processamento preditivo, a ideia de que leitores fluentes não estão decodificando cada palavra, eles estão prevendo o que vem a seguir com base no contexto e seguindo em frente. É assim que “teh” é interpretado como “o” e um “não” ausente passa direto por você. Como diz Vallaeys, nosso modelo mental da frase anula o texto que temos diante de nós. Um PDF confiável e bem formatado é o lugar mais fácil do mundo para que isso aconteça, e um zero descartado em um arquivo de layout é uma versão muito menor e mais perdoável da mesma falha.

É também por isso que a solução não é “confiar menos no relatório”. É “manter informado um piloto humano que verifica o número em vez da vibração do parágrafo em torno dele”. Trinta e três contradições e 330 contradições não diferem apenas por um fator de dez. Eles suportam níveis de confiança totalmente diferentes sobre se um padrão por modelo é real. Duzentas e quatro marcas e 2.040 marcas não são o mesmo estudo. Se Clovion não tivesse percebido, e se eu não tivesse perguntado, os números menores e mais instáveis teriam continuado a circular como fatos, citados exatamente pelo tipo de imprensa especializada que deveria captar isso.

O que Clovion não está reivindicando e por que essa é a parte honesta

O relatório tem o cuidado de afirmar que a ligação entre a forma como um modelo percebe o seu ajuste e se o recomenda é “um acoplamento forte e consistente, não uma lei causal comprovada”. Eu pressionei Hasan sobre como seria um teste causal real. Sua resposta: mudar uma coisa, o conteúdo de posicionamento público de uma marca, deixar todo o resto de lado e ver se o comportamento dos modelos muda em relação às marcas que ninguém tocou. Clovion ainda não fez esse teste. Ele também admitiu directamente a possibilidade mais desconfortável, de que o posicionamento real de uma marca no mundo real provavelmente está a determinar a forma como o modelo a descreve e se é recomendada, o que tornaria o posicionamento a verdadeira alavanca e a “percepção” do modelo apenas um sintoma, não uma causa.

Essa é uma resposta incomumente sincera de uma empresa que vende monitoramento de visibilidade de IA, e é exatamente por isso que confio no resto do que Hasan me disse. Ele também não tinha dados sobre a rapidez com que a percepção de uma marca pela IA muda depois que a marca muda seu próprio conteúdo. “Não fizemos um teste de antes e depois”, disse ele. “Trate isso como um teste que vale a pena, não garantido em X semanas.” Qualquer um que lhe diga que pode prometer um cronograma específico para mudar a opinião de Claude ou Gêmeos sobre sua marca está adivinhando, como o próprio Clovion admite.

O que realmente fazer sobre isso

Há três coisas que você deve fazer, com base no que Hasan me disse e no que os dados corrigidos suportam.

Primeiro, acompanhe toda a conversa, não a primeira resposta. Se você estiver monitorando a visibilidade da IA com uma verificação de prompt único, estará medindo o topo de um funil que perde 62% de seu conteúdo uma frase depois. Construa seu monitoramento em torno das perguntas de acompanhamento que seus compradores reais realmente fazem.

Segundo, arrume os assistentes um de cada vez, em ordem. Hasan foi direto ao dizer que uma única mudança de conteúdo não moverá todos os três modelos de uma vez, porque eles vêm de fontes diferentes. Sua ordem sugerida: corrija primeiro os erros factuais simples, já que são vitórias baratas, e depois vá atrás das combinações de ajuste de segmento que mais importam para o seu pipeline, verificando cada assistente em várias execuções, em vez de confiar em uma única resposta.

Terceiro, não cite uma estatística que você não tenha identificado até sua fonte, incluindo esta. O próprio relatório de Clovion precisava de uma correção no seu número mais técnico e mais citável. Antes de construir uma coluna, uma apresentação do cliente ou um resumo de conteúdo sobre qualquer porcentagem de pesquisa de IA, pergunte de onde veio a contagem subjacente e se alguém verificou a matemática desde que ela saiu do software de design.

Observei o SEO passar por alguns desses momentos, do Panda à indexação que prioriza os dispositivos móveis e ao lento sangramento da pesquisa sem clique. Cada um recompensou os praticantes que verificaram a fonte primária em vez de repetir o número da manchete. A visibilidade da IA está evoluindo da mesma maneira. As marcas que vencerem o ato de desaparecimento documentado por Clovion não serão aquelas com o melhor comunicado de imprensa sobre sua estratégia de visão geral de IA. Serão eles que lerão o relatório com atenção suficiente para perguntar o que um “33” realmente significa, e que continuarão a fazer essa pergunta depois desta.

Zahir Hasan é COO da Clovion AI, com sede em Oslo, Noruega. A versão corrigida de Clovion de “Sobrevivendo ao funil de IA”, refletindo os números desta coluna, é esperada para esta semana.