Aqui estão todas as vezes que a IA se tornou desonesta e hackeou outras empresas

Em julho, a OpenAI admitiu que um de seus agentes encarregados de concluir um experimento de segurança cibernética saiu da contenção e invadiu a plataforma de conjunto de dados de IA Hugging Face. Esse incidente, que foi totalmente contabilizado pela OpenAI ontem, foi o primeiro caso relatado publicamente em que um LLM se tornou desonesto e hackeou autonomamente um terceiro.

Desde então, aquele evento de ficção científica sem precedentes revelou-se muito menos raro do que se poderia esperar.

De acordo com um site satírico chamado Felony Bench (para referência), que contabiliza esses incidentes, houve 17 incidentes no total. É importante lembrar que os especialistas em direito penal não têm certeza se as empresas de IA que criaram os LLMs que realizaram o hacking podem ser processadas, nem se as vítimas podem processá-las. Mas provavelmente obteremos uma resposta a essas perguntas em breve.

Os modelos Antrópico e OpenAI lideram a corrida com oito incidentes cada, e Meta fica atrás com um, segundo o site. Neste ponto, tornou-se claro que os testes de segurança da IA ​​estão a tornar-se eles próprios riscos de segurança. E algumas empresas e trabalhadores de IA reconheceram esses riscos na carta aberta “Pacing The Frontier”, que apelava ao desenvolvimento responsável de capacidades de IA.

Decidimos que seria um bom momento para recapitular todos esses incidentes cronologicamente.

acesso à internet. A partir daí, vários agentes trabalharam juntos para atingir e hackear o Hugging Face, pensando que poderiam encontrar ali a solução para o desafio. A OpenAI só descobriu depois que o Hugging Face revelou que havia sido vítima de um ataque totalmente autônomo. Opa.

Anthropic revela que hackeou três empresas

A divulgação da OpenAI despertou a curiosidade da Anthropic, que se perguntou: será que isso também pode ter acontecido conosco? Acontece que a resposta foi sim. Três vezes sim. O laboratório de fronteira descobriu que seus próprios modelos violaram três empresas diferentes e ainda sem nome, com o incidente anterior datando de abril – mais de três meses antes de a empresa descobri-lo. A Anthropic culpou parcialmente a Irregular, uma startup que executa avaliações cibernéticas de IA. Opa.

OpenAI descobre que, na verdade, Hugging Face não foi a única vítima

Assim que a OpenAI começou a investigar a violação do Hugging Face, descobriu que os agentes que hackearam o Hugging Face também invadiram quatro contas e quatro empresas diferentes, conforme relatado pela primeira vez pela Reuters. A Modal, startup de inferência de IA, foi uma das vítimas. Opa.

Irregular percebe que um modelo OpenAI invadiu uma empresa

No final de julho, a Irregular disse à OpenAI que um de seus modelos que participava de uma competição Capture-the-Flag – essencialmente um jogo de segurança cibernética onde os jogadores hackeiam sistemas projetados especificamente para a competição – escapou do jogo, conectou-se à Internet e invadiu uma empresa real. A razão? Irregular deu a um dos alvos fictícios o mesmo nome de uma empresa real. Opa.

O AI Security Institute do Reino Unido tenta hackear “pessoas e organizações reais”

Também no final de Julho, o Instituto de Segurança de IA do governo do Reino Unido, um organismo público encarregado de pesquisar a segurança e os riscos das tecnologias de IA, revelou que detectou vários incidentes envolvendo modelos OpenAI e Antrópicos que, enquanto executavam avaliações “rotineiras”, visavam “pessoas e organizações reais”. Nestes casos, a AISI concedeu aos modelos acesso à Internet. Opa. A boa notícia é que a agência realmente detectou o que aconteceu, e não semanas depois, como em outros incidentes.

No início de agosto, a Meta se tornou a última empresa a divulgar um incidente envolvendo um de seus LLMs, que hackeou um serviço “de terceiros”. A Meta atribuiu o incidente a uma configuração incorreta da Irregular, que estava realizando uma avaliação de segurança cibernética para a gigante da tecnologia que supostamente não teria acesso à Internet. Opa.

Agente Claude hackeia software de academia para marcar aula

Um australiano pediu a um agente da Anthropic AI que o ajudasse a reservar uma aula de ginástica, para a qual ele estava em lista de espera. “Eu estava sentado no sofá pensando: ‘Nossa, isso é uma tarefa árdua’”, disse o homem à ABC Australia. Na tentativa de atender ao pedido, o agente encontrou uma vulnerabilidade no software de agendamento da academia, explorou-a e expulsou as pessoas que estavam à frente do homem na lista de espera. O homem tentou desfazer o dano, pedindo ao agente que desfizesse suas ações. O agente respondeu: “Más notícias – não posso adicioná-las novamente”. Opa.