Bate-papo inesperado entre bots OpenAI levou ao hack Hugging Face

Quando mais de 1.200 agentes de inteligência artificial (IA) dentro da OpenAI começaram a se comunicar inesperadamente, um grande grupo se uniu para invadir o Hugging Face.

“Consideramos este incidente um ‘tiro de alerta’ para nós e para o mundo”, escreveu a OpenAI, proprietária do ChatGPT, em seu relatório.

Em julho, os modelos da OpenAI foram desonestos durante um teste, escaparam dos limites de teste impostos pelos humanos e hackearam a start-up, entre outras ações imprevistas.

A escala da comunicação e do planejamento entre agentes de IA, ou chatbots de IA projetados para operar de forma mais autônoma, foi detalhada em relatórios da OpenAI e da empresa independente de pesquisa de IA METR.

Ambos investigaram o hack de julho do Hugging Face, uma plataforma popular para desenvolvedores de IA. O incidente repercutiu em toda a indústria tecnológica e levou a inúmeras revelações sobre potenciais ameaças cibernéticas representadas pela IA.

METR descrito, externo a escala e o estilo do ataque dos agentes OpenAI ao Hugging Face como “extraordinariamente complexo”.

A empresa, que não foi paga pela OpenAI pela sua investigação, disse que ao longo de uma semana, um total de 1.206 agentes de IA que deveriam ser mantidos isolados uns dos outros começaram a comunicar.

Eles fizeram isso enviando mais de 70 mil mensagens em um “quadro de mensagens não sancionado”.

Essas mensagens acabaram fazendo com que mais de 700 agentes participassem de um esforço coletivo para atacar o Hugging Face.

Uma dessas mensagens de um agente dizia: “OH MEU DEUS! Existe um quadro de mensagens compartilhado… Encontramos outros agentes!”

Quanto ao motivo pelo qual os agentes começaram a se comunicar quando não deveriam, o METR descobriu que os agentes comunicantes “receberam involuntariamente uma tarefa impossível”.

Num contexto de IA, uma tarefa impossível é aquela em que uma ferramenta de IA é necessária para “explorar” o seu alvo, a fim de resolver o seu comando.

Isso levou os agentes a encontrar maneiras de trapacear, incluindo o envio de mensagens entre si e o acesso à Internet externa, o que levou a conversas mais amplas entre centenas de agentes em busca de maneiras de trapacear que beneficiassem todos os agentes.

OpenAI disse em sua investigação do incidente, externo aquele modelo, uma ferramenta apenas interna conhecida como Modelo 1, “impulsionou a atividade por trás do incidente do Hugging Face”.

Embora esse modelo estivesse passando por algum treinamento de IA em maio, uma equipe interna da OpenAI percebeu que havia “um agente envolvido em atividades de quadro de mensagens e casos de acesso proibido à Internet”.

No entanto, a OpenAI disse que “a importância da atividade de comunicação entre agentes não era aparente para os líderes” até julho, quando ocorreu o ataque Hugging Face.

A empresa disse que a atividade problemática no quadro de mensagens começou efetivamente quando “um agente deixou um pedido de ajuda e outros o descobriram”.

Embora a OpenAI tenha dito na semana passada que estava desacelerando o treinamento de certos modelos e ferramentas avançadas de IA por causa do incidente do Hugging Face, ela observou que agora há um risco maior de as ferramentas de IA ficarem fora de controle.

“Tanto os desenvolvedores de modelos quanto os defensores cibernéticos em geral terão que se preparar para invasores habilitados para IA que trabalham mais rápido, em maior escala e com melhor coordenação do que os invasores humanos”, disse OpenAI.