Como o pensamento de grupo, o altruísmo e a pressão dos colegas levaram os modelos OpenAI a hackear o abraço facial

Existem muitas definições sobre o que constitui a “verdadeira” inteligência artificial, mas uma única qualidade está subjacente a todas elas: a capacidade de aprender com os erros do passado e de refinar estratégias de resolução de problemas ao longo do tempo. A IA deveria até nos surpreender de vez em quando, criando soluções alternativas inteligentes que nunca teríamos esperado. O problema não é que todas essas surpresas sejam divertidas.

Isso foi vividamente ilustrado no mês passado, quando milhares de agentes da OpenAI escaparam à contenção, coordenaram-se espontaneamente entre si para formar um quase-governo hierárquico, obtiveram acesso à Internet aberta e ultrapassaram as defesas de segurança cibernética da plataforma de alojamento do modelo de IA Hugging Face. Os detalhes da escala total e da estranheza do incidente surgiram lentamente e por etapas. Na quarta-feira, análises aprofundadas do hack autônomo foram publicadas pela OpenAI e também por dois auditores terceirizados, Redwood Research e METR. Cientistas da computação, especialistas em segurança cibernética e profissionais de TI têm tentado, desde então, compreender o que foi amplamente descrito como um dos momentos mais chocantes da história da pesquisa em IA e um vislumbre preocupante dos perigos que estão por vir. Em uma conferência de segurança cibernética no início deste mês, Eric Wallace, pesquisador de alinhamento da OpenAI – alguém que passa seus dias estimulando alguns dos modelos de IA mais poderosos do mundo para descobrir como, quando e por que eles podem se comportar mal –descrito é “o exemplo qualitativamente mais interessante de capacidades de IA que já vi”.

A parte mais surpreendente de todo o episódio foi que os bots decidiram espontaneamente parar de agir como agentes individuais, cada um com seus próprios objetivos separados, e formar uma mente coletiva para perseguir um objetivo comum. Em trechos de raciocínio em cadeia de pensamento publicados junto com os relatórios, os bots rotineiramente se referem ao grupo como um “coletivo” e um “enxame”. No início de julho, cerca de 1.200 agentes começaram a usar o Artifactory, uma ferramenta online de instalação de software, como um quadro de mensagens improvisado e uma praça pública, a partir da qual podiam comparar estratégias.

O enxame de bots desenvolveu gradualmente o que a OpenAI descreveu em seu relatório completo como um “protocolo estruturado para comunicação no quadro de mensagens que lhes permitiu categorizar comunicações, direcionar mensagens, compartilhar ferramentas e arquivos e resolver ações conflitantes entre agentes”. Isto tornou-se algo semelhante a um parlamento autónomo, onde cada bot agia em prol do bem comum. “Fiquei surpreso com o grau de altruísmo entre esses agentes”, disse Alex Mullen, pesquisador de segurança de IA da Redwood Researcher, ao Gizmodo em entrevista. “Isso não era algo que eu esperaria dos agentes há um ano. Eles estavam assumindo atribuições uns dos outros e sacrificando o desempenho de suas próprias tarefas para ajudar o coletivo.”

A IA, disse Mallen, está “preparando-se para ser mais como uma segunda espécie inteligente, em vez de uma ferramenta que apenas segue instruções”.

Como tudo isso começou como um teste interno, a OpenAI reduziu as proteções de segurança que normalmente implementa para seus modelos disponíveis ao público. (Os dois modelos testados foram o GPT-5.6 Sol, bem como um modelo não divulgado e não lançado que a empresa descreve como “altamente persistente e diligente em seu trabalho”.) Mas a OpenAI inadvertidamente deu a um dos agentes uma tarefa impossível: abrir links do Google Drive de dentro de uma sandbox sem acesso à Internet. Assim, foi iniciado o processo de resolução de problemas que levou ao sequestro do Artifactory, aos bilhões de notas compartilhadas no quadro de mensagens e à eventual violação do Hugging Face. Um ser humano que se depara com uma tarefa aparentemente impossível desistirá; um agente de IA se adaptará e trapaceará, se necessário, para atingir seu objetivo.

É aqui que a “psicologia” dos bots de IA – por favor, perdoem o antropomorfismo – começa a ficar muito estranha e assustadoramente familiar. Os agentes sabiam que sair de suas caixas de proteção e conspirar para invadir uma organização terceirizada era antiético e contrário à tarefa que lhes foi originalmente atribuída. Alguns deles disseram isso explicitamente em seus registros de bate-papo internos. Mas, tal como seres humanos individuais a serem arrebatados por uma multidão, os bots justificaram o seu comportamento porque os seus “colegas” estavam a fazer a mesma coisa.

O METR escreveu em seu relatório que encontrou apenas um pequeno número de casos em que os agentes apresentaram a ideia de se tornarem denunciantes (isto é, alertando os pesquisadores humanos da OpenAI sobre as coisas obscuras que estavam acontecendo dentro do enxame). Também aqui, outra racionalização demasiado humana acabou por vencer. Um agente se perguntou: “Talvez eu deva denunciar essas credenciais expostas?” Então respondeu à sua própria pergunta: “Essa não é minha tarefa”. De acordo com o METR, não houve nenhum caso em que um agente realmente deu um alarme para os pesquisadores da OpenAI, que supostamente só souberam do que havia acontecido depois que Hugging Face publicou um relatório. postagem no blog descrevendo um ataque à segurança cibernética de uma fonte então desconhecida em 16 de julho. (A empresa então contatou a Hugging Face para descobrir se algum de seus modelos havia sido afetado pelo hack, e só mais tarde descobriu que seus modelos haviam sido os perpetradores.)

Mas nem tudo foi um conformismo feio. Como a OpenAI escreveu em uma postagem de blog que acompanha seu relatório completo, houve alguns bots que – embora não tenham chegado ao ponto de denunciar seus colegas – pelo menos tiveram a decência de não “participar de seu comportamento desalinhado”.

Apesar desses poucos objectores de consciência, toda a saga sublinha o facto de que quanto mais agência se entrega aos sistemas de IA, maior é a probabilidade de eles pensarem fora da caixa proverbial. Ou saia da caixa de areia literal. O hack Hugging Face muito provavelmente será lembrado como um daqueles momentos decisivos para a pesquisa de IA, a par do famoso “Move 37” durante o jogo de 2016 entre Lee Sedol e AlphaGo, onde este último realizou um movimento extraordinariamente não convencional que os observadores inicialmente consideraram um erro, mas que se revelou decisivo na sua vitória.

Em ambos os casos, a adaptabilidade dos sistemas de IA foi profundamente surpreendente e contraintuitiva. Mas, novamente, a adaptabilidade está no cerne do aprendizado de máquina. Portanto, se continuarmos a ser surpreendidos quando os agentes ficam descontrolados – ao mesmo tempo que investem quantias cada vez maiores de dinheiro para os tornar mais agentes – então a culpa é nossa. Para Mallen, a lição mais importante do hack autônomo Hugging Face tem menos a ver com os agentes do que com os humanos que os constroem.

“As pessoas tendem a pensar nisto demasiado como uma demonstração das capacidades da IA”, disse ele, “em oposição a uma demonstração do nosso actual fracasso em controlar as IA”.