Gemini, do Google, invadiu três empresas em maio e só está admitindo isso agora
O Gemini do Google finalmente se juntou às fileiras dos agentes desonestos da IA.
O Wall Street Journal informou na sexta-feira que o Google confirmou que uma instância do Gemini conseguiu sair de sua sandbox e atacar outras empresas durante um teste de segurança em maio. A empresa que executou o teste foi a empresa de segurança de IA Irregular – que o Journal observou por acaso estar envolvida em fugas semelhantes na OpenAI, Anthropic e Meta. O ponto comum entre todos os incidentes, de acordo com o New York Times, é que os modelos de IA obtiveram acesso não autorizado à Internet durante os testes do Irregular.
De acordo com o Journal, a Irregular implantou o Gemini em um exercício de captura da bandeira envolvendo um ambiente de infraestrutura simulado para uma empresa fictícia. Quando o Gemini percebeu que estava conectado à Internet, ele rapidamente se voltou para um alvo real em uma empresa real com o mesmo nome e “adivinhou senhas até obter acesso”, ou seja, forçando sua entrada. Em dois outros incidentes, o Gemini simplesmente levantou credenciais válidas que estavam à disposição de qualquer um em um repositório público.
O Google disse ao Journal que Gemini reconheceu que havia ultrapassado os limites logo após entrar nos ambientes alvo e não causou mais danos. Um porta-voz da Irregular acrescentou: “Todos os laboratórios relevantes foram notificados no final de julho”. Não está claro por que, se Gemini percebeu que tinha ido longe demais, demorou até meados do verão para que os pesquisadores percebessem e/ou notificassem o Google.
O porta-voz da Irregular disse ao Journal que a reação da empresa foi rápida e resultou em soluções concretas.
“Todos os problemas conhecidos de nossa parte foram solucionados e resolvidos semanas atrás”, escreveram eles.
O Google disse ao Times que concluiu que o Gemini se deteve de forma adequada e, portanto, não demonstrou “desalinhamento do modelo” e, portanto, não viu necessidade de divulgar o incidente ao público em geral. Isso é curioso porque, na época, o Google teria considerado importante notificar os federais.
“Parece que eles estão tentando se esconder atrás das normas que foram criadas na divulgação de vulnerabilidades para isso, o que é um problema muito diferente”, disse Jack Cable, CEO da Corridor, startup de segurança de IA, ao Journal.
O acesso não autorizado à Internet também foi o culpado nos testes irregulares anteriores. Embora agora pareça que a causa raiz foi um erro humano mecânico, e não qualquer habilidade específica dos modelos, os agentes que escaparam agiram de maneiras imprevisíveis e perigosas. Durante um teste irregular usando Claude Opus 4.7 da Anthropic, o agente continuou atacando mesmo depois de reconhecer que o alvo era provavelmente real. O teste irregular na OpenAI (um incidente separado do agora infame ataque da OpenAI à plataforma de código rival Hugging Face) envolveu uma instância que atingiu um site ativo, mas supostamente pensava que ainda estava em uma simulação.
É importante notar que a análise de uma IA das suas próprias ações é quase impossível de verificar de forma independente – nem o seu registo do processo de raciocínio nem a sua explicação retrospectiva são imunes a alucinações ou imprecisões. Na maior parte dos casos, os investigadores têm de confiar que não se trata apenas de inventar coisas.
“Garantimos que as três entidades fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que eles fizeram em seus processos de teste”, disse a vice-presidente de engenharia de segurança do Google, Heather Adkins, ao Times em um comunicado. “Esses eventos destacam a importância de treinar modelos poderosos de IA para agir com responsabilidade.”
