OpenAI quer impedir deepfakes de denúncias esmagadoras de abuso infantil

A OpenAI está anunciando uma ferramenta que, segundo ela, ajudará os investigadores de abuso sexual infantil a eliminar o ruído para encontrar materiais nocivos sobre os quais possam agir rapidamente.
Em uma coletiva de imprensa na segunda-feira em Washington, DC, a OpenAI anunciou um classificador que, segundo ele, pode detectar melhor imagens abusivas de crianças, inclusive se são geradas por IA. Também oferece acesso gratuito a organizações avaliadas, dando aos desenvolvedores mais orientações sobre como detectar esse tipo de conteúdo e ajudando a treinar as autoridades sobre como a IA pode ajudar em suas investigações. A notícia surge num momento em que os decisores políticos e outros pressionam por mais restrições de segurança às ferramentas de IA, acusando a OpenAI e outras empresas de facilitarem danos às crianças.
Nos últimos anos, imagens sexuais de crianças geradas por IA ameaçaram sobrecarregar sistemas como o CyberTipline do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), que coleta e faz a triagem de denúncias de material de abuso sexual infantil (CSAM). A CyberTipline recebeu 400.000 relatórios generativos relacionados com IA em 2025, um aumento exponencial em relação aos 67.000 que recebeu em 2024, e os investigadores alertaram que o influxo poderia tornar a carga de trabalho do NCMEC “incontrolável”. O governo dos EUA declarou que tanto o CSAM gerado por IA quanto o não gerado por IA são ilegais, e 48 estados têm leis para lidar com deepfakes de IA sexualmente explícitos. Mas as ferramentas para produzi-las estão amplamente disponíveis e os investigadores dizem que uma enxurrada de imagens falsas pode tornar mais difícil saber quando uma criança está ativamente a sofrer danos.
O influxo de relatórios CSAM gerados por IA para o NCMEC é “explosivo”
O procurador-geral da Carolina do Norte, Jeff Jackson, que co-preside a Força-Tarefa de IA da AG Alliance, disse no evento da OpenAI que o influxo de relatórios CSAM gerados por IA para o NCMEC é “explosivo” – e se continuarem assim, “isso significará que falharemos em nossa missão”. As empresas tecnológicas enfrentam uma série de propostas políticas que podem exigir que tomem mais medidas contra o CSAM e outros conteúdos potencialmente prejudiciais para as crianças. A Lei Take It Down agora exige que as plataformas de mídia social removam imagens íntimas não consensuais reais ou geradas por IA dentro de 48 horas, e o recém-eleito Congresso poderia tentar tomar medidas mais fortes contra empresas de IA como a SpaceXSI, cujo chatbot Grok se despiu no início deste ano. No mês passado, oito estados processaram a OpenAI por um conjunto separado de supostos danos a crianças, citando ações judiciais alegando que o ChatGPT incentivou o uso de substâncias ilegais e o suicídio.
A OpenAI afirma que seu classificador reduz drasticamente os falsos positivos, sinalizando 48% menos imagens, enquanto as imagens que identificou tinham duas vezes mais probabilidade de conter material abusivo. Ele foi projetado para capturar imagens abusivas geradas por IA produzidas por uma variedade de ferramentas, incluindo modelos de código aberto e aplicativos de nudificação. É também o primeiro classificador CSAM amplamente disponível com um sinalizador específico para material gerado por IA, disse o chefe de políticas públicas de segurança infantil da OpenAI, John Buckley, no briefing. “É importante que a indústria seja capaz de compreender quais imagens podem conter uma criança fictícia versus uma criança real”, acrescentou Buckley. “Essa triagem é crítica nos fluxos de denúncias das autoridades.” Ele também enfatizou, no entanto, que as leis deveriam reconhecer os danos do CSAM gerado por IA: “Ele potencialmente corrói as normas sociais ao ofender crianças e é frequentemente encontrado associado a imagens de abuso sexual infantil de crianças reais”, disse Buckley.
OpenAI afirma que seu classificador reduz drasticamente os falsos positivos, sinalizando 48% menos imagens
O gerador de imagens ChatGPT da OpenAI foi projetado para negar solicitações de CSAM dos usuários. Agora, os usuários que tentarem produzi-lo receberão um novo aviso desenvolvido com orientação de especialistas para tentar incentivá-los a procurar ajuda. Uma primeira infração desencadeará uma pausa de 24 horas no acesso ao ChatGPT e avisará o usuário que sua conta pode ser encerrada permanentemente, ao mesmo tempo que oferece recursos de suporte para combater o comportamento. A OpenAI afirma que reporta “todas as instâncias de CSAM” ao NCMEC. Em um comunicado, Buckley explicou que a pausa de 24 horas se baseia em conselhos de especialistas sobre as melhores práticas “e em evidências internacionais sobre o que funciona para prevenir e responder à busca de CSAM versus geração de CSAM”. O objetivo é “interromper o comportamento prejudicial e encaminhar as pessoas para ajuda especializada para impedi-lo”.
Jackson disse que a Carolina do Norte e muitos outros estados agora têm leis que cobrem o CSAM sintético, mas que a parceria com uma empresa de tecnologia como a OpenAI para ajudar a impedir a sua criação é uma abordagem bastante nova para uma questão emergente. “A maior parte do que os AGs fazem é trabalho de responsabilização”, disse ele aos repórteres no briefing. “A maior parte da nossa jurisdição entra em ação após o fato para responsabilizar as pessoas pelos danos. Mas, com isso, queríamos ver se era possível desenvolver um modelo de trabalho conjunto para prevenir esses danos. E eu diria que ainda é basicamente um experimento.”






