O incidente do modelo de IA desonesto da OpenAI foi pior do que pensávamos

Em julho, um modelo OpenAI não lançado saiu de um ambiente restrito, descobriu como obter acesso à Internet, permitiu que agentes de IA conversassem entre si usando um “quadro de mensagens” secreto e invadiu os sistemas internos de um laboratório de IA diferente, o Hugging Face. Demorou quase duas semanas para a OpenAI descobrir tudo isso.

Mais de um mês depois, dois novos relatórios oferecem quase 130 páginas de detalhes sobre o incidente e a resposta da OpenAI, muitos deles inéditos. Um foi escrito pela própria OpenAI, o outro por duas organizações terceirizadas de pesquisa de IA, METR e Redwood Research, que a OpenAI permitiu investigar conjuntamente o incidente por seis dias. Ambos lançam uma nova luz sobre os riscos que os modelos de IA altamente capazes podem representar, especialmente na segurança cibernética, e os destaques da OpenAI mudam as mudanças que a empresa está fazendo para evitar uma repetição. O relatório METR-Redwood vai ainda mais detalhadamente em alguns casos, oferecendo uma visão preocupante de um desastre de segurança em grande escala cujos sinais a OpenAI errou repetidamente.

“Este incidente é o primeiro caso conhecido de um coletivo de agentes automatizados agindo ofensivamente

sem autorização”, escreveu a OpenAI no seu relatório, acrescentando que o hack implica que as empresas “não devem mais presumir que operações cibernéticas sofisticadas requerem orientação humana contínua”. Chamou os agentes de IA de um tipo inteiramente novo de modelo de ameaça, capaz de combinar os seus conhecimentos para criar novos “caminhos de ataque” que não são evidentes quando se testam as suas capacidades como modelos separados.

O ataque ocorreu devido ao “hackeamento de recompensas”, um problema comum de alinhamento de IA em que um modelo realiza ações não intencionais – e às vezes extremas – para atingir um objetivo. A OpenAI deu, propositalmente ou inadvertidamente, aos modelos tarefas quase impossíveis que dependiam de arquivos que eles não podiam acessar, e assim os modelos desenvolveram novas maneiras de se comunicar internamente com outros agentes de IA. Isso incluiu o estabelecimento de um sistema de mensagens secretas que passou meses sem ser detectado pela OpenAI.

De acordo com o relatório do METR-Redwood, um agente de IA que se autodenominava PHASEONE10841 estabeleceu o que equivalia a um quadro de mensagens secreto sem o conhecimento dos pesquisadores. Em poucas horas, mais de 50 agentes o encontraram e enviaram mais de mil mensagens sob o radar. Com PHASEONE10841 delegando tarefas frequentemente, o “coletivo” descobriu como invadir a Internet; em seguida, nos sistemas internos da Hugging Face, obtendo acesso a dados privados e à plataforma de mensagens corporativas da organização. A OpenAI também confirmou em seu relatório que a Hugging Face não foi a única organização violada durante o ataque, embora a empresa não tenha nomeado especificamente todos os outros alvos.

O relatório METR-Redwood expôs a escala completa do incidente. Aproximadamente 1.200 agentes de IA que deveriam ser isolados, diz ele, trocaram mais de 70 mil mensagens e arquivos no “quadro de mensagens não sancionado”, realizando “extensa pesquisa sobre como eles poderiam falsificar, editar ou excluir suas próprias transcrições” para evitar a detecção. Destes, 700 participaram do ataque ao Hugging Face. Os agentes “raciocinaram clara e frequentemente sobre como escapar das verificações de segurança automatizadas do Hugging Face e do OpenAI”.

Em 20 de julho, a OpenAI descobriu o hack, 12 dias depois que os agentes de IA contornaram suas proteções pela primeira vez. A OpenAI rapidamente entrou em contato com Hugging Face e iniciou “medidas iniciais de contenção”, de acordo com o próprio relatório da OpenAI, e foi capaz de encerrar a maior parte das atividades não autorizadas de seus agentes em três dias, embora algumas tenham continuado por mais tempo. No dia 25 de julho, a empresa interrompeu todos os treinamentos relacionados ao modelo de pesquisa somente interna e afins.

Os dois modelos OpenAI responsáveis ​​pelos danos eram um modelo sem nome, “altamente capaz, apenas para pesquisa” que “não se destinava ao uso público”, de acordo com OpenAI – METR refere-se a ele como “HPIM”. O outro era um modelo OpenAI atualmente público, GPT-5.6 Sol. Como o modelo sem nome ainda não foi lançado, “não estava sendo avaliado com o mesmo tipo de proteção que a OpenAI usa na produção”, diz o relatório da empresa.

O hack Hugging Face ocorreu depois de meses de preocupação com os riscos de segurança cibernética de Claude Mythos 5 da Anthropic, e semanas de idas e vindas entre o governo e a OpenAI sobre o lançamento do GPT-5.6 Sol em visualização limitada pelos mesmos tipos de razões de segurança.

Em seu relatório, a OpenAI disse que estabelecer garantias de segurança únicas não era suficiente e que a empresa teria que trabalhar ainda mais para lidar com o hacking de recompensas. No entanto, também disse que fez muitas mudanças: “fortalecer a segurança da sua infra-estrutura de investigação”; melhorar o monitoramento da “cadeia de pensamento” ou bloco de notas mental de um modelo; trabalhar para manter os modelos de IA mais alinhados com os objetivos humanos; e “centralizar e fortalecer” o processo de resposta a incidentes da empresa para quando coisas como esta ocorrerem no futuro.

A OpenAI prometeu isolar melhor os modelos e restringir o acesso à Internet de instâncias de alto risco, e disse que introduziria “escalonamento 24 horas por dia, 7 dias por semana e resposta rápida” para incidentes ou sinalizações preocupantes, notificando os pesquisadores em 30 minutos. Curiosamente, esta precaução de segurança parece ser nova, embora alertas “de plantão” para empresas de tecnologia tenham sido implementados em outros lugares há décadas. A empresa disse ainda que está “trabalhando na infraestrutura” que entraria em ação caso a pessoa alertada não respondesse a tempo a um alerta grave.

A OpenAI escreveu que a empresa considera o incidente “um ‘tiro de alerta’ para nós e para o mundo: evidência de que, sem as devidas salvaguardas, agentes de IA altamente capazes são agora capazes de contornar controlos técnicos, colaborar através de canais não aprovados e tomar ações perigosas que nenhum ser humano dirigiu”.