As classificações de visibilidade da IA não são estáveis – novas pesquisas mostram que é principalmente ruído estatístico
Os dados de rastreamento de visibilidade da IA não são totalmente confiáveis. Como os modelos generativos geralmente produzem respostas diferentes, as cotas de citações e as classificações em seu painel são apenas instantâneos de um alvo em constante mudança, e não fatos fixos.
A diferença entre você e um concorrente pode ser genuína ou apenas uma flutuação entre as medidas. Um novo artigo do IQRush com lançamento previsto para a próxima semana (tivemos acesso de pré-lançamento) fornece um método para distingui-los, mostrando que nenhuma quantidade fixa de dados pode resolver definitivamente a questão.
O artigo é de Ron Sielinski, cofundador do IQRush, que vende software que mede a visibilidade da IA da maneira que o artigo argumenta que deveria. A razão pela qual vale a pena dedicar seu tempo é que uma equipe separada publicou uma descoberta semelhante de medições repetidas em abril, então o IQRush não é o único a defender esse caso.
Quanto esses números se movem
Consultar repetidamente SearchGPT, Gemini ou Perplexity com a mesma pergunta pode produzir fontes diferentes a cada vez. Eles foram criados para adicionar alguma aleatoriedade a cada resposta, de modo que cada citação seja apenas um dos muitos URLs possíveis que poderiam ter sido extraídos. Um artigo anterior do mesmo autor explorou essa variabilidade, mostrando que, por exemplo, ao testar o SearchGPT em equipamentos de corrida, o Tom’s Guide representou cerca de 9,5% das citações, enquanto o Runner’s World foi responsável por cerca de 6,0%. No painel, o Guia do Tom aparecia com mais frequência, mas a grande margem de erro significava que os números se sobrepunham. Com apenas uma amostra, não era correto dizer que o Tom’s Guide superou o Runner’s World, já que a diferença de 3,5 pontos estava dentro da margem de erro. O novo artigo visa evitar este erro abordando uma questão simples, mas muitas vezes esquecida: quantos dados são necessários para que as classificações sejam verdadeiramente significativas?
Quando vale a pena confiar em uma classificação
A resposta tem duas partes e ambas precisam ser verdadeiras para que uma classificação seja confiável. Primeiro, a ordem deve parar de mudar.
No início, as classificações podem mudar frequentemente à medida que novas respostas são adicionadas, porque nenhum site ainda tem uma vantagem clara. Somente após a coleta de respostas suficientes é que os principais sites começam a se destacar claramente, permitindo que a ordem se estabilize. Além disso, é importante que os principais sites estejam bem separados; se estiverem muito próximos, a classificação pode não ser significativa, pois uma competição acirrada não mostra realmente quem está realmente à frente. O artigo analisa se a diferença entre os principais sites é maior do que a margem de erro de cada um. Quando isso acontece, a classificação reflete uma diferença real. Quando não é, provavelmente é apenas ruído estatístico. Ambas as condições precisam ser verdadeiras ao mesmo tempo, nenhuma delas sozinha é suficiente. Em 30 testes de temas da plataforma, o número de respostas necessárias para que ambas as condições fossem atendidas variou de 33 a 94, contando apenas as respostas com citações.
Três em cada 30 não chegaram a esse ponto mesmo depois de 125 perguntas, todas no SearchGPT, onde os principais sites eram muito semelhantes para serem diferenciados. Não existe um limite único aplicável em todos os lugares; o que funciona para uma plataforma e tópico pode não servir para outro.
Estamos circulando isso
Em janeiro, discuti a descoberta do SparkToro de que as ferramentas de IA fornecem uma lista diferente de marcas recomendadas em mais de 99% das vezes em que você faz a mesma pergunta. Esse artigo deixou uma pergunta sem resposta: quantas vezes você precisa perguntar antes que os resultados se estabilizem? Este artigo oferece a resposta mais clara que encontrei.
Rand Fishkin, que liderou esse estudo, dá alguns conselhos úteis. Antes de gastar qualquer dinheiro no rastreamento da visibilidade da IA, ele sugere garantir que seu provedor “mostre sua matemática”. O artigo IQRush é uma ótima maneira de fazer isso porque fornece uma regra de parada simples, para que você não precise confiar apenas na intuição sobre quantas execuções são suficientes.
Ele também se enquadra em uma série de estudos que a SEJ cobriu no ano passado, cada um relatando números de citações de IA como se tivessem sido corrigidos. Este se vira, examina a medição em si e pergunta se esses números são estáveis o suficiente para serem comparados.
O que isso muda em seus relatórios
O número em seu painel é apenas uma amostra. Antes de confiar nele, verifique se o seu rastreador realiza a mesma verificação repetidamente e relata um intervalo, ou se extrai dados uma vez e mostra um número limpo. O número limpo pode, na verdade, ser um sinal de alerta, não uma garantia.
Um ganho após uma mudança de conteúdo é fácil de ser mal interpretado. Por exemplo, um aumento de três pontos na sua parcela de citações do SearchGPT pode parecer uma prova de que seu esforço valeu a pena, mas tal mudança pode cair dentro da variabilidade natural de execuções sucessivas, de acordo com os dados do artigo original.
Para reivindicar a vitória, meça antes e depois mais de uma vez cada. Uma única leitura antes e depois não pode separar sua mudança do ruído comum.
A plataforma que você está medindo altera a quantidade de dados necessária, e não da maneira que você imagina. Tudo se resume à quantidade de informações independentes que cada resposta contém, e não a quantas citações ela fornece. Gemini empilha citações no mesmo punhado de sites em uma única resposta, então muitas dessas citações dizem a mesma coisa. SearchGPT fornece menos citações por resposta, mas as espalha, de modo que cada resposta carrega mais informações independentes do que a contagem bruta sugere. O mesmo número de respostas em dois mecanismos não compra a mesma confiança, e um orçamento que satisfaça o Gemini pode deixar você em dúvida no SearchGPT.
Às vezes, a resposta honesta é que você ainda não pode dizer. Três dos 30 testes nunca separaram claramente seus principais sites dentro do orçamento. Para estes, a decisão certa é manter e não publicar uma classificação que os dados não possam suportar. Um rastreador que pode dizer “dados insuficientes” vale mais do que aquele que imprime um pedido confiável sempre que você solicita.
O topo do ranking é a parte que você mais pode defender. Com respostas suficientes, os líderes se afastam do meio e da cauda, embora nem mesmo sejam exatos. As margens de erro aumentam rapidamente abaixo da frente, até que as posições vizinhas sejam um cara ou coroa, e mesmo os 10 primeiros não foram imaculados, com a margem de erro típica num site entre os 10 primeiros a correr cerca de cinco posições e uma em cada cinco mais larga do que 10. Confie nos líderes, trate o meio e o fundo como grosseiros, e não reporte posições exactas para além do início da lista.
O que o artigo não prova
Nada disso vem de um estudo finalizado e revisado por pares. É uma pré-impressão baseada em 30 testes de tópicos de plataforma em três mecanismos, usando perguntas geradas pelo ChatGPT em vez de pesquisas reais de usuários, em um único trecho de coleta. Os números exatos não serão transferidos de forma clara para seus tópicos, portanto, trate-os como a forma do problema, não como uma tabela de consulta.
Essas contagens incluem apenas respostas que continham citações, o que é mais importante no SearchGPT, porque uma parte de suas perguntas não retorna nenhuma citação. Em um tópico, 125 perguntas produziram 104 respostas utilizáveis, um erro de 17%, então você precisaria enviar mais perguntas do que o sugerido pelo total.
A verificação do método também é interna. O artigo compara uma classificação que ele chama antecipadamente com a classificação final da mesma coleção, e não com qualquer verdade externa. Isso testa se a regra de parada é consistente consigo mesma, e é por isso que o resultado da correspondência da equipe não afiliada funciona de verdade aqui. Os autores desse artigo de abril, Julius Schulte, Malte Bleeker e Philipp Kaufmann, são pesquisadores da Universidade de St. Eles executaram um conjunto de dados separado e chegaram ao mesmo veredicto: uma única leitura não é confiável e é necessário testar repetidamente um mecanismo para confiar no que ele lhe diz.
Para onde isso vai
O jornal não chega ao que a maioria das pessoas deseja, que é uma forma de saber seu orçamento de execução antes de começar a cobrar. Sielinski deixa isso para um trabalho posterior e observa que o número depende da forma do padrão de citação de cada plataforma, portanto, um único orçamento universal provavelmente não virá.
A maior mudança é que os relatórios de visibilidade de IA estão seguindo o caminho que os relatórios de anúncios e análises já seguiram, em direção a números que carregam uma margem de erro em vez de um ponto decimal falso. Isso está acontecendo enquanto ainda falta o encanamento básico, já que o Search Console ainda não informa quais cliques vieram da IA. Até que isso aconteça, cabe a você executar a verificação mais de uma vez e relatar o intervalo, não o número único que seu painel lhe fornece.
Mais recursos
Imagem em destaque: Pegajoso/Shutterstock
