As visões gerais do Google Health AI citam o YouTube mais do que qualquer site de hospital
As visões gerais de IA do Google podem depender mais do YouTube do que de fontes médicas oficiais ao responder a perguntas de saúde, de acordo com uma nova pesquisa da plataforma SEO SE Ranking.
O estudo analisou 50.807 avisos e palavras-chave de saúde em alemão, capturados em um instantâneo único de dezembro, usando pesquisas realizadas em Berlim.
O relatório chega em meio a um escrutínio renovado das visões gerais de IA relacionadas à saúde. No início deste mês, o The Guardian publicou uma investigação sobre resumos médicos enganosos que aparecem na Pesquisa Google. A agência informou posteriormente que o Google havia removido as visões gerais de IA para algumas consultas médicas.
O que o estudo mediu
A análise do SE Ranking se concentrou em quais fontes as visões gerais de IA do Google citam para consultas relacionadas à saúde. Nesse conjunto de dados, a empresa afirma que as visões gerais de IA apareceram em mais de 82% das pesquisas de saúde, tornando a saúde uma das categorias onde os usuários têm maior probabilidade de ver um resumo gerado em vez de uma lista de links.
O relatório também cita resultados de pesquisas com consumidores que sugerem que as pessoas tratam cada vez mais as respostas de IA como um substituto para a pesquisa tradicional, inclusive na saúde. Ele cita números que incluem 55% dos usuários de chatbot que confiam na IA para conselhos de saúde e 16% dizem que ignoraram o conselho de um médico porque a IA disse o contrário.
YouTube foi a fonte mais citada
No conjunto de dados do SE Ranking, o YouTube foi responsável por 4,43% de todas as citações do AI Overview, ou 20.621 citações de 465.823.
Os próximos domínios mais citados foram ndr.de (14.158 citações, 3,04%) e Manuais MSD (9.711 citações, 2,08%), de acordo com o relatório.
Os autores argumentam que a classificação é importante porque o YouTube é uma plataforma de uso geral com um conjunto misto de criadores. Qualquer pessoa pode publicar conteúdo de saúde lá, incluindo médicos e hospitais licenciados, mas também criadores sem formação médica.
Para verificar como eram as citações mais visíveis do YouTube, o SE Ranking analisou os 25 vídeos mais citados do YouTube em seu conjunto de dados. Descobriu-se que 24 dos 25 vieram de canais relacionados à medicina e 21 dos 25 observaram claramente que o conteúdo foi criado por uma fonte licenciada ou confiável. Alertou também que este conjunto representa menos de 1% de todos os links do YouTube citados pelo AI Overviews.
Fontes governamentais e acadêmicas eram raras
O SE Ranking categorizou as citações em grupos “mais confiáveis” e “menos confiáveis” com base no tipo de organização por trás de cada fonte.
Relata que 34,45% das citações vieram do grupo mais confiável, enquanto 65,55% vieram de fontes “não projetadas para garantir precisão médica ou padrões baseados em evidências”.
Na mesma repartição, a investigação académica e as revistas médicas representaram 0,48% das citações, as instituições de saúde governamentais alemãs representaram 0,39% e as instituições governamentais internacionais responderam por 0,35%.
As citações de visão geral da IA geralmente apontam para páginas diferentes das da pesquisa orgânica
O relatório comparou as citações da visão geral da IA com classificações orgânicas para os mesmos prompts.
Embora o SE Ranking tenha descoberto que 9 em cada 10 domínios se sobrepõem entre citações de IA e resultados orgânicos frequentes, ele diz que os URLs específicos divergiam frequentemente. Apenas 36% dos links citados por IA apareceram nos 10 principais resultados orgânicos do Google, 54% apareceram nos 20 primeiros e 74% apareceram em algum lugar entre os 100 primeiros.
A maior exceção em nível de domínio em sua comparação foi o YouTube. O YouTube ficou em primeiro lugar em citações de IA, mas apenas em 11º em resultados orgânicos em sua análise, aparecendo 5.464 vezes como um link orgânico em comparação com 20.621 citações de IA.
Como isso se conecta aos relatórios do The Guardian
O relatório SE Ranking enquadra explicitamente o seu trabalho como mais amplo do que a verificação pontual de respostas individuais.
“A investigação do Guardian centrou-se em exemplos específicos de conselhos enganosos. A nossa investigação mostra um problema maior”, escreveram os autores, argumentando que as respostas de saúde da IA no seu conjunto de dados dependiam fortemente do YouTube e de outros sites que podem não ser baseados em evidências.
Seguindo a reportagem do The Guardian, o meio de comunicação informou que o Google removeu as visões gerais de IA para determinadas consultas médicas.
A resposta pública do Google, conforme relatada pelo The Guardian, enfatizou o trabalho contínuo de qualidade, ao mesmo tempo que contestou aspectos das conclusões da investigação.
Por que isso é importante
Este relatório adiciona dados concretos a um problema sobre o qual é mais fácil falar de forma abstrata.
Cobri a investigação do The Guardian no início deste mês e ela levantou questões sobre a precisão de exemplos individuais. A pesquisa do SE Ranking tenta mostrar como é o mix de fontes em escala.
A visibilidade nas visões gerais de IA pode depender de mais do que ser a “melhor resposta” mais proeminente na pesquisa orgânica. O SE Ranking descobriu que muitos URLs citados não correspondiam às páginas mais bem classificadas para os mesmos prompts.
A combinação de fontes também levanta questões sobre o que os sistemas do Google tratam como evidências “suficientemente boas” para resumos de saúde em grande escala. Neste conjunto de dados, as fontes governamentais e académicas quase não apareceram em comparação com as plataformas de comunicação social e um vasto conjunto de sites menos focados na fiabilidade.
Isso é relevante além do SEO. A reportagem do Guardian mostrou o quão arriscados podem ser os modos de falha, e o recuo do Google em algumas consultas médicas sugere que a empresa está disposta a desativar certos resumos quando o escrutínio se tornar intenso.
Olhando para o futuro
As descobertas do SE Ranking são limitadas a consultas em língua alemã na Alemanha e refletem um instantâneo único, que os autores reconhecem que pode variar ao longo do tempo, por região e por frase de consulta.
Mesmo com essa ressalva, a combinação desta análise da fonte e a recente investigação do Guardian coloca mais foco em duas questões em aberto. A primeira é como o Google avalia autoridade versus proeminência em nível de plataforma em citações de saúde. A segunda é a rapidez com que pode reduzir a exposição quando padrões específicos de consultas médicas atraem críticas.
Imagem em destaque: Yurii_Yarema/Shutterstock
