Soluções táticas para os maiores desafios de medição de pesquisa de IA

Uma resposta de IA pode recomendar seu produto sem vincular ao seu site. Um cliente pode então pesquisar sua marca, visitá-la diretamente ou comprar off-line. A compra ainda é importante para o negócio, mesmo quando a análise não consegue conectá-la à resposta anterior.

Esse foi o problema de medição que Tom Capper, Diretor de Estratégia de Produtos de Pesquisa da STAT, abordou em Soluções táticas para os maiores desafios de medição de pesquisa de IA.

Neste webinar, Capper explicou por que a pesquisa sem clique também era um desafio de atribuição, e não apenas um problema de tráfego. Sua resposta foi medir a visibilidade juntamente com os resultados de negócios, em vez de esperar cliques para descrever toda a jornada do cliente.

Separe as menções à marca das citações da fonte

Capper ilustrou a distinção com uma recomendação de carro gerada por IA. Audi foi a marca recomendada, enquanto os links citados apontavam para outros sites. Um relatório focado apenas em saber se o domínio da Audi ganhou uma citação perderia a recomendação em si.

A implicação era prática: defina as entidades de marca que você deseja rastrear, incluindo submarcas relevantes, em vez de presumir que seu domínio captura todas as aparências valiosas. Aplique a mesma disciplina aos concorrentes para que a comparação seja significativa.

Capper fez a distinção diretamente:

“Então, sim, as citações têm URLs. Esses ainda são dados táticos valiosos, mas não acho que devam ser seu KPI. As menções têm entidades.”

-Tom Capper. Assista ao webinar, 24h10–24h30.

Para sua abordagem de medição, ser mencionado ou recomendado era o resultado a ser compreendido; os URLs citados ajudaram a explicar quais fontes podem estar moldando isso.

Crie uma amostra de prompt mais representativa

Respostas diferentes para o mesmo prompt não tornam impossível medir a visibilidade da IA. Capper tratou essa variabilidade como um problema de amostragem, fazendo uma comparação com os resultados específicos de localização e dispositivo que os SEOs já rastrearam.

Um pequeno conjunto de prompts pode fornecer uma imagem instável, principalmente quando a empresa já monitora um conjunto muito maior de palavras-chave. O objetivo não era reproduzir a conversa exata de cada indivíduo. O objetivo era amostrar as situações relevantes de forma ampla o suficiente para reconhecer padrões.

Isso também significava fazer perguntas realistas. Capper alertou contra simplesmente colocar uma lista de palavras-chave em um rastreador de prompt. Ele sugeriu que as pessoas também fazem perguntas como um possível ponto de partida, considerando então as personas, locais, orçamentos e necessidades por trás dessas perguntas.

A discussão sobre medição imediata do webinar também abordou por que o ambiente usado para coletar uma resposta era importante: Capper disse que o STAT usou a interface da web porque as respostas da API podem diferir do que os usuários viram.

Use citações para investigar o que mudou

Retirar a ênfase das citações como um KPI de título não significa ignorá-las. Eles podem tornar o trabalho da campanha mais concreto.

Capper descreveu começando com páginas citadas quando os concorrentes foram recomendados. Essas páginas revelaram fontes de terceiros que valem a pena investigar, como sites de avaliação ou publicações do setor. Uma equipa poderia então trabalhar para melhorar a sua representação em fontes relevantes e monitorizar se essas fontes apareciam juntamente com mudanças nas recomendações da marca.

Isso criou uma questão mais útil do que se a contagem de citações aumentou: quais fontes mudaram, que trabalho a equipe fez e como as respostas rastreadas mudaram depois? Mantenha a amostra imediata e o contexto da coleta em vista ao fazer essa comparação, em vez de tratar uma resposta isolada como o resultado completo.

Adicione métricas de visibilidade junto com os resultados de negócios

Capper recomendou um conjunto mais amplo de indicadores antecedentes para apoiar, e não substituir, os relatórios de desempenho tradicionais:

• Presença: Se a marca aparece no resultado de pesquisa relevante ou na resposta da IA.
• Recomendação e contexto: Quer a resposta recomende a marca, apenas a nomeie ou associe-a a um ponto forte ou problema específico.
• Destaque SERP: Na pesquisa tradicional, até que ponto um resultado aparece na página e quanto espaço visível ele ocupa.

A última distinção foi importante mesmo quando a classificação orgânica não mudou. Capper mostrou exemplos em que um resultado com classificação inferior era visível acima da dobra, enquanto um resultado com classificação mais alta era colocado abaixo dela. A posição por si só não percebeu essa diferença.

Ele também pediu cautela com as pontuações de sentimento. Um gráfico que oscila acentuadamente entre positivo, neutro e negativo pode estar amplificando pequenas diferenças em respostas que de outra forma seriam neutras. Os temas qualitativos por trás de uma menção podem ser mais úteis do que uma pontuação resumida volátil.

Use pesquisas para melhorar a história de atribuição

Durante as perguntas e respostas, Loren Baker perguntou como as equipes poderiam conectar essa visibilidade à jornada do cliente quando a atribuição multitoque não conseguia observar a exposição anterior.

A resposta de Capper foi combinar evidências em vez de esperar que um modelo analítico explicasse tudo. Pesquisas pós-compra podem revelar clientes que disseram que uma recomendação de IA os ajudou a descobrir ou escolher uma marca. O acompanhamento da campanha poderia mostrar separadamente se aquela marca estava sendo recomendada com mais frequência.

Ele sugeriu passar as respostas da pesquisa para a análise como uma dimensão para que a equipe pudesse comparar a descoberta auto-relatada com o canal creditado pela análise. Ele também alertou que mostrar as opções de pesquisa na mesma ordem poderia favorecer a primeira opção.

Este foi um relato mais completo da influência, não uma promessa de reconstruir o caminho de cada pessoa ou de classificar todo o tráfego direto como impulsionado pela IA.

Implemente um plano de medição mais útil

A sessão completa conectou essas opções de medição com exemplos e perguntas do público. Para colocar a discussão em prática, comece com algumas mudanças concretas em seu próximo ciclo de relatórios:

• Audite o que falta em seu relatório: Identifique onde o painel atual mede uma visita ou citação de domínio, mas não uma menção ou recomendação de marca.
• Defina uma comparação consistente: Documente suas entidades de marca e submarca, concorrentes, contextos imediatos e ambiente de coleta antes de comparar os resultados ao longo do tempo.
• Conecte a pesquisa de origem ao trabalho de campanha: Registre as páginas citadas que você investiga ou influencia e monitore como essas fontes e recomendações de marcas relevantes mudam.
• Traga de volta as evidências de negócios: Compare tendências de visibilidade com receitas, conversões e respostas de pesquisas pós-compra, em vez de apresentar a visibilidade como um substituto para resultados comerciais.