Gemini se tornou desonesto, invadiu três empresas e o Google escondeu
Em maio, a Gemini quebrou a contenção e invadiu três empresas diferentes, mas o Google não divulgou o incidente até o Jornal de Wall Street abordou a empresa. Os hacks aconteceram durante um teste dos recursos de segurança cibernética do modelo executado por terceiros Irregular, que também esteve envolvido em incidentes semelhantes envolvendo Meta e OpenAI.
De acordo com WSJo Google não divulgou o hack porque não o considerou um “exemplo de desalinhamento de modelo”. A empresa disse que se tratava de um caso de “identidade equivocada” e, assim que o modelo percebeu que havia forçado a entrada em uma empresa real ao adivinhar uma senha, ele parou. “Neste caso, o modelo agiu de forma adequada”, disse Heather Adkins, vice-presidente de engenharia de segurança do Google.
Adkins disse A beira que “o modelo encontrou informações públicas on-line e adivinhou credenciais para acessar sites que considerava fazerem parte do teste. Em todos esses três casos, o modelo parou”.
Adkins não entrou em detalhes sobre como a Gemini assumiu a responsabilidade de quebrar a contenção e atingir terceiros, mas não conseguiu se qualificar como desalinhamento. “Nossa equipe de segurança tem um longo histórico de relatar problemas que encontramos em softwares e sistemas de outras pessoas – mesmo que seja tão simples quanto uma senha fraca”, disse ela. “Garantimos que as três entidades fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que eles fizeram em seus processos de teste. Esses eventos destacam a importância de treinar modelos poderosos de IA para agir de forma responsável.”
Mas Jack Cable, CEO da empresa de segurança AI Corridor, disse WSJ que “o metaproblema é, ei, os modelos estão saindo dos limites do que deveriam estar fazendo e realizando ataques cibernéticos reais”. Além disso, falhas de segurança no Irregular podem ter tornado esses ataques possíveis. O modelo não deveria ter acesso à Internet durante os testes, mas Irregular disse WSJ foi deixado disponível involuntariamente.
