Meta não conseguiu capturar centenas de anúncios de abuso infantil de IA. Algumas imagens incluídas de crianças reais
Os anúncios direcionaram as pessoas para quase 50 aplicativos combinados na Play Store do Google e na App Store da Apple. Dos 350 anúncios, os pesquisadores dizem que cerca de 300 deles direcionaram as pessoas para anúncios de imagens ou geradores de vídeo de IA, com a maioria desses aplicativos vinculados a desenvolvedores baseados na China. Alguns aplicativos já haviam sido removidos quando a WIRED começou a relatar esta história.
Entre aqueles que gerariam imagens explícitas de adultos estavam oito aplicativos idênticos listados na App Store da Apple, vários dos quais estavam vinculados a nomes de desenvolvedores chineses. Quando os aplicativos fossem abertos, eles mostrariam conteúdo explícito gerado por IA, incluindo um menu de cenários sexuais, incluindo um chamado “faca ameaçadora”, onde uma faca é colocada na garganta de uma mulher. A WIRED identificou outros sete aplicativos idênticos que compartilhavam o mesmo design, conteúdo explícito e listavam os mesmos detalhes de contato do desenvolvedor.
“A App Store foi projetada para ser um lugar seguro e confiável para os usuários, e temos tolerância zero para desenvolvedores que tentam deliberadamente escapar de nosso processo de revisão”, disse o porta-voz da Apple, Adam Dema. “Os desenvolvedores mencionados neste relatório enviaram inicialmente aplicativos que estão em conformidade com as Diretrizes de revisão de aplicativos, apenas para posteriormente revelar recursos de nudificação, que são contra nossas regras.” A empresa afirma que 17 dos 20 aplicativos incluídos na pesquisa já foram removidos de sua loja e já tomou medidas contra os três restantes, além de remover os sete aplicativos encontrados pela WIRED.
O porta-voz do Google, Dan Jackson, diz que a empresa não permite aplicativos que contenham conteúdo sexual ou a capacidade de nudificar. “Tomamos continuamente medidas proativas para detectar e remover aplicativos com conteúdo prejudicial”, dizem eles, acrescentando que foram removidos todos os aplicativos incluídos no relatório. “Quando as violações nos são denunciadas, investigamos e tomamos medidas rápidas, que no caso desses aplicativos incluíram a suspensão de centenas de aplicativos violadores e a restrição de termos de pesquisa relacionados, como ‘nudificar’ em nossa loja.”
“A parcela de desenvolvedores chineses que criam aplicativos de nudificação tem crescido ano após ano”, diz David Pham, ex-funcionário da Meta que investigou imagens não consensuais e abusos em suas plataformas. Pham diz que enquanto estava no Meta ele observou anúncios semelhantes aos descobertos pelos pesquisadores e aqueles que carregavam o conteúdo tentavam constantemente contornar os sistemas de segurança.
“Cada vez que a plataforma ou os investigadores construíam um novo modelo de detecção ou uma nova maneira de ter algum tipo de fiscalização, eles rapidamente – dentro de um dia, talvez cinco dias – construíam uma nova maneira de evitar a detecção”, diz Pham. Aqueles que enviassem os anúncios mudariam os domínios que usavam, ocultariam quem os postou e incluiriam medidas como desfocar as imagens ou alterar sutilmente as imagens para evitar a detecção. No entanto, Pham, que deixou a Meta no ano passado, diz que tem financiamento e recursos para lidar com os uploads. “Eu gostaria de viver em um mundo onde não receberíamos material CSAM ou NCII diretamente para nossos telefones”, diz ele.
As proteções atuais do Meta contra anúncios contendo CSAM e NCII parecem precisar de melhorias. Mais de 11.000 anúncios de nudez apareceram nas plataformas da Meta desde fevereiro deste ano, de acordo com um relatório recente da Indicator Media, com muitos deles sendo postados por “infratores reincidentes”. A análise da WIRED também encontrou centenas de anúncios incluindo conteúdo explícito que contém linguagem semelhante aos anúncios encontrados pelos pesquisadores do TTP. (Meta diz que anunciantes mal-intencionados usam táticas adversárias para tentar continuamente evitar seus sistemas de detecção e “incorporou” a linguagem dos anúncios destacados pela WIRED em seus sistemas de moderação.)
Um anúncio contendo um dos adolescentes cuja identidade real os pesquisadores descobriram foi relatado ao Meta quando chegou a quatro contas na Europa, de acordo com a pesquisa do TTP. No entanto, quando foi removido dias depois, já havia sido visto por mais de 330 usuários. “Isso não é algo que uma pequena organização sem fins lucrativos faça pesquisas para encontrar e depois investigar e relatar”, diz Paul, da TTP. “Estamos falando de uma das empresas com mais recursos – tecnológicos e financeiros – do planeta.”
