As visões gerais da IA do Google forneceram conselhos de saúde enganosos
O Guardian publicou uma investigação alegando que especialistas em saúde encontraram orientações imprecisas ou enganosas em algumas respostas da Visão Geral da IA para consultas médicas. O Google contesta os relatórios e diz que muitos exemplos foram baseados em capturas de tela incompletas.
O Guardian disse que testou pesquisas relacionadas à saúde e compartilhou respostas de visão geral da IA com instituições de caridade, especialistas médicos e grupos de informações de pacientes. O Google disse ao The Guardian que a “grande maioria” das visões gerais de IA são factuais e úteis.
O que o The Guardian relatou ter descoberto
O Guardian disse que testou uma série de questões de saúde e pediu às organizações de saúde que revisassem os resumos gerados pela IA. Vários revisores disseram que os resumos incluíam orientações enganosas ou incorretas.
Um exemplo envolveu câncer de pâncreas. Anna Jewell, diretora de apoio, pesquisa e influência do Pancreatic Cancer UK, disse que aconselhar os pacientes a evitar alimentos ricos em gordura era “completamente incorreto”. Ela acrescentou que seguir essa orientação “pode ser muito perigoso e comprometer as chances de uma pessoa estar bem o suficiente para receber tratamento”.
A reportagem também destacou dúvidas de saúde mental. Stephen Buckley, chefe de informação da Mind, disse que alguns resumos de IA para condições como psicose e distúrbios alimentares ofereciam “conselhos muito perigosos” e eram “incorretos, prejudiciais ou poderiam levar as pessoas a evitar procurar ajuda”.
O Guardian também citou um exemplo de rastreio do cancro. Athena Lamnisos, executiva-chefe da instituição de caridade contra o câncer Eve Appeal, disse que um exame de Papanicolaou listado como um teste para câncer vaginal era “uma informação completamente errada”.
Sophie Randall, diretora do Patient Information Forum, disse que os exemplos mostram que “as visões gerais de IA do Google podem colocar informações de saúde imprecisas no topo das pesquisas online, apresentando um risco para a saúde das pessoas”.
O Guardian também relatou que repetir a mesma pesquisa poderia produzir diferentes resumos de IA em momentos diferentes, extraídos de fontes diferentes.
Resposta do Google
O Google contestou tanto os exemplos quanto as conclusões.
Um porta-voz disse ao The Guardian que muitos dos exemplos de saúde partilhados eram “capturas de ecrã incompletas”, mas pelo que a empresa pôde avaliar, ligavam-se “a fontes bem conhecidas e respeitáveis e recomendavam a procura de aconselhamento especializado”.
O Google disse ao The Guardian que a “grande maioria” das visões gerais de IA são “factuais e úteis” e que “continuamente” faz melhorias de qualidade. A empresa também argumentou que a precisão do AI Overviews está “no mesmo nível” de outros recursos de pesquisa, incluindo trechos em destaque.
O Google acrescentou que quando o AI Overviews interpretar mal o conteúdo da web ou perder o contexto, ele tomará medidas de acordo com suas políticas.
O contexto mais amplo de precisão
Esta investigação chega ao meio de um debate que vem ocorrendo desde a expansão das Visão Gerais da IA em 2024.
Durante o lançamento inicial, o AI Overviews chamou a atenção por resultados bizarros, incluindo sugestões envolvendo cola em pizza e comer pedras. O Google disse mais tarde que reduziria o escopo das consultas que acionam resumos escritos por IA e refinaria o funcionamento do recurso.
Cobri esse lançamento e os primeiros problemas de precisão rapidamente se tornaram parte da narrativa pública em torno dos resumos de IA. A questão então era se as questões eram casos extremos ou algo mais estrutural.
Mais recentemente, dados do Ahrefs sugerem que as consultas médicas YMYL têm maior probabilidade do que a média de acionar visões gerais de IA. Em sua análise de 146 milhões de SERPs, o Ahrefs relatou que 44,1% das consultas médicas YMYL acionaram uma visão geral de IA. Isso é mais que o dobro da taxa básica geral do conjunto de dados.
Pesquisas separadas sobre perguntas e respostas médicas em LLMs apontaram para lacunas no suporte de citações nas respostas geradas por IA. Uma estrutura de avaliação, SourceCheckup, descobriu que muitas respostas não eram totalmente apoiadas pelas fontes citadas, mesmo quando os sistemas forneciam links.
Por que isso é importante
As visões gerais da IA aparecem acima dos resultados classificados. Quando o tema é saúde, os erros têm mais peso.
Os editores passaram anos investindo em experiência médica documentada para atender. Esta investigação coloca o mesmo destaque nos resumos do Google quando eles aparecem no topo dos resultados.
A reportagem do The Guardian também destaca um problema prático. A mesma consulta pode produzir resumos diferentes em momentos diferentes, dificultando a verificação do que você viu executando a pesquisa novamente.
Olhando para o futuro
O Google já ajustou as visões gerais da IA após críticas virais. Sua resposta ao The Guardian indica que espera que as visões gerais da IA sejam julgadas como outros recursos de pesquisa, e não sujeitas a um padrão separado.
