O problema da citação fantasma

O problema da citação fantasma


Aumente suas habilidades com os insights semanais de especialistas do Growth Memo. Assine gratuitamente!

Quando uma IA responde a uma pergunta usando seu conteúdo, geralmente cita você com um link de origem. O que não acontece, 62% das vezes, é dizer seu nome. O link está aí. A menção da marca não é. Isto é o que eu gosto de chamar de citação fantasma: a IA que usa seu conteúdo não menciona você na resposta.

Esta semana, estou compartilhando:

  • Por que ser citado e mencionado são dois resultados diferentes que exigem estratégias diferentes.
  • Quais LLMs nomeiam marcas versus quais os tratam como material de origem anônima.
  • O formato de consulta e o tipo de conteúdo que produzem 30 vezes mais menções à marca.

Uma nota de Kevin: sou um grande fã do HubSpot Marketing contra a corrente. Eu tive Kieran, um dos co-apresentadores, em meu podcast Tech Bound em 2023. Agora, eles lançaram um boletim informativo com experimentos inteligentes, novas perspectivas e lições práticas sobre o que está funcionando no momento. Então, pensei em dar uma mensagem amigável: Confira.

Esta análise baseia-se em 3.981 domínios em 115 prompts, 14 países e quatro mecanismos de pesquisa de IA (ChatGPT, Google AI Overviews, Gemini, AI Mode), usando dados do Semrush AI Toolkit. Cada aparição é marcada como “citada” (link da fonte presente) e/ou “mencionada” (o nome da marca aparece no texto da resposta). A lacuna entre esses dois estados é o problema da citação fantasma.

1. 62% das citações LLM da sua marca são funcionalmente invisíveis

A maioria das marcas presume que ser citado significa ser visto. Os dados dizem o contrário.

Crédito da imagem: Kevin Indig

74,9% dos domínios foram citados e 38,3% mencionados. 61,7% das citações são citações fantasmas: o domínio obtém um link de origem, mas nenhum reconhecimento de nome no texto da resposta.

Apenas 13,2% das aparições se convertem em citação e menção. Nem um único domínio foi citado, mas não foi mencionado, ou vice-versa.

2. Cada LLM mostra um comportamento diferente

Os quatro mecanismos de IA tratam citações e menções de maneiras fundamentalmente diferentes:

  • Gêmeos nomeia marcas em 83,7% das aparições, mas gera um link de citação apenas em 21,4% das vezes. Ele funciona mais como um conversador baseado no conhecimento da marca.
  • O ChatGPT é o oposto: cita 87,0% das vezes, mas menciona marcas em apenas 20,7% das respostas, funcionando mais como um artigo acadêmico com notas de rodapé.
  • As visões gerais de IA do Google (AIOs) ficam no meio, mas tendem para a citação.
  • O modo AI do Google oferece cerca de 17% mais menções à marca do que o ChatGPT em seus resultados, mas também funciona mais próximo de um artigo acadêmico do que seu irmão Gemini.

Para as marcas, isso significa que a visibilidade do Gemini e a visibilidade do ChatGPT não são a mesma coisa. (Este conjunto de dados mostrou evidências claras de que não houve muita sobreposição com citações/menções do ChatGPT e citações/menções do Gemini para os mesmos prompts.) A otimização de um não ajuda no outro. Não existe uma única “métrica de visibilidade de IA”. Existem pelo menos 4 sistemas comportamentais diferentes funcionando em paralelo.

Crédito da imagem: Kevin Indig

3. Marcas fortes são nomeadas no texto

Surge um padrão claro entre os domínios que aparecem três ou mais vezes: agregadores de conteúdo e fontes acadêmicas são citados repetidamente, mas quase nunca mencionados.

  • Medium.com foi citado 16 vezes pelas mesmas solicitações em três mecanismos diferentes e nomeado zero vezes.
  • Wikipedia.org foi citado 27 vezes e mencionado em apenas duas respostas, ambas para a mesma consulta conversacional (“Qual é a criatura mais perigosa do mundo?”).
  • Wired.com, sciencedirect.com, harvard.edu: mesmo padrão.

Marcas de consumo com forte identidade pública são mencionadas na produção em quase 100%. A IA não sente necessidade de citar. Em vez disso, menciona diretamente as marcas de consumo. Ele sabe que os dados sobre as marcas vêm de algum lugar, mas não sente necessidade de dizer isso explicitamente aos usuários. Para os editores cuja proposta de valor é a autoridade informacional, este é um problema estrutural.

*Taxa de menção acima de 100% significa que a marca é citada no texto da resposta mesmo quando não é citada como link de origem – o mecanismo faz referência à marca pelo nome, sem vincular a ela. Para valores neste conjunto de dados acima de 100%, pense em ser citado 10x e mencionado 10x como = 100%. Se uma marca é mencionada 12 vezes e citada 10 vezes, isso representa 120%.

Crédito da imagem: Kevin Indig

4. LLMs discordam sobre a mesma marca 22% das vezes

454 combinações de prompt+domínio foram testadas em vários mecanismos. Em 22% desses resultados (100 no total), os LLMs discordaram sobre mencionar a marca:

  • Instagram.com foi mencionado por ChatGPT e Gemini, mas apenas citado (sem nome) pelo Google.
  • Facebook.com foi mencionado por Gemini em 3 de 3 aparições.
  • A IA do Google citou o Facebook 9 de 9 vezes, mas o nomeou apenas 1.

Crédito da imagem: Kevin Indig

A mesma marca, a mesma consulta, mas motores e resultados diferentes. Isto é importante para a medição: uma marca pode parecer “visível” nos dados de um mecanismo e ser completamente anônima em outro. As métricas agregadas de visibilidade da IA ​​mascaram essa divergência.

5. As taxas de menção de marca no texto variam de acordo com a geografia

Controlando para o LLM, as diferenças em nível de país nas taxas de menção são significativas:

  • A Índia e a Suécia apresentam as taxas de menção mais altas (50%), sugerindo padrões de consulta mais conversacionais ou de encaminhamento de marca nesses mercados.
  • Itália, Brasil e Holanda apresentam as taxas de menção mais baixas (18-22%), com taxas de citação muito altas (82-94%).
  • O Reino Unido e o Canadá estão na faixa intermediária, mas acima da média global.

*Observação: o conjunto de dados usa prompts localizados confirmados pela Semrush, portanto, o idioma não é confuso.

Crédito da imagem: Kevin Indig

Ser citado e ser nomeado não são a mesma coisa e exigem uma abordagem diferente

A partir dessa análise, quatro conclusões que mais se destacaram para as marcas e suas estratégias de conteúdo:

1. Ser citado significa que uma IA está se baseando no seu conteúdo. Ser mencionado significa que está nomeando você. Ainda não sabemos o suficiente sobre as implicações das menções e citações, mas podemos dizer com certeza que existe um sistema que decide quando você é citado ou quando é mencionado.

2. Sua estratégia deve ser específica para LLM. Uma estratégia que prioriza o Gemini é diferente de uma estratégia que prioriza o ChatGPT. Qualquer relatório de visibilidade de IA agregado em LLMs é enganoso.

3. O conteúdo comparativo dá nomes às marcas. O conteúdo informativo alimenta a máquina anonimamente. Se o objetivo são menções à marca, não apenas citações, concentre sua estratégia de conteúdo na avaliação, comparação e recomendação.

4. O formato do prompt é importante. As marcas devem mapear não apenas em quais tópicos desejam aparecer, mas especificamente quais padrões de fraseado produzem menções versus citações fantasmas. Consultas conversacionais curtas e consultas estruturadas longas se comportam como produtos diferentes.

Metodologia

Fonte de dados: Semrush AI Toolkit: 3.981 aparências de domínio em 115 prompts, 14 países e quatro mecanismos de pesquisa de IA (ChatGPT, Google AI Overviews, Gemini, Google).

Cada linha do conjunto de dados representa um domínio que apareceu em uma resposta de IA. Cada aparição é marcada como “citada” (o domínio aparece como um link de origem) e/ou “mencionada” (o nome da marca aparece no texto da resposta). A lacuna entre esses dois estados é o que esta análise chama de citação fantasma: a IA usou seu conteúdo, mas não disse seu nome.


Imagem em destaque: Roman Samborskyi/Shutterstock; Paulo Bobita/Search Engine Journal





Source link

Postagens Similares

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *