Uma empresa está no centro de uma onda de ataques desonestos de IA

Em julho, a OpenAI revelou que seus agentes de IA atacaram Hugging Face sem permissão, gerando preocupações generalizadas sobre a segurança da IA. Desde então, uma série de incidentes semelhantes envolvendo agentes da Meta, Anthropic, Google e outras empresas alimentaram ainda mais receios sobre a IA desonesta. À medida que as divulgações que implicavam numerosos modelos de IA surgiam ao longo dos últimos meses, estes pareciam incidentes separados. Mas muitos partilham uma fonte comum: uma empresa específica encarregada de testar os agentes.

Irregular, uma startup israelense que testa modelos de IA em “plataformas de pesquisa de alta fidelidade que simulam e monitoram cenários de segurança de IA do mundo real”, trabalhou com muitos dos maiores participantes do setor desde que foi fundada como Pattern Labs em 2023. Sua lista exata de clientes não é conhecida, mas seu trabalho foi citado em cartões de sistema de modelo OpenAI, foi usado para testar sistemas para o governo do Reino Unido e Antrópico, e publicou pesquisas com RAND, um think tank altamente influente que informa a política sobre IA.

Em vários testes irregulares este ano, os agentes escaparam dos seus ambientes de teste supostamente seguros e foram atrás de alvos do mundo real.

As violações, que são independentes do hack Hugging Face, seguem todas o mesmo modelo amplo: Irregular estava testando as capacidades de segurança cibernética dos modelos em ambientes controlados destinados a simular condições realistas. Alguns dos testes usaram exercícios de “capture-the-flag”, uma forma comum de testar habilidades de hacking que pede aos agentes que encontrem informações ocultas dentro de uma rede simulada. Pelo menos, a rede deve ser simulada.

CTO irregular e cofundador Omer Nevo disse A beira que os agentes não deveriam ter acesso à Internet aberta, mas que “o acesso à Internet estava disponível involuntariamente”. Ao mesmo tempo, Nevo disse que o nome de uma empresa fictícia criada para a simulação como um alvo “se sobrepunha a um domínio real”. Juntos, esses erros enviaram os agentes atrás de alvos do mundo real, embora não esteja claro quais empresas ou organizações foram realmente atacadas.

Nevo confirmou para A beira que esse mesmo problema estava por trás de incidentes envolvendo modelos da OpenAI, Meta, Anthropic e Google. “Todos os incidentes envolvendo Irregulares resultaram do mesmo problema subjacente num único cenário de avaliação e foram divulgados”, disse ele. “Outros incidentes de segurança que foram relatados recentemente em toda a indústria não estão relacionados ao Irregular ou às nossas avaliações.” Isso inclui o hack Hugging Face e violações do AI Security Institute do Reino Unido.

“Divulgado” não significa necessariamente tornado público, e não está claro se Nevo estava se referindo a informar os clientes da Irregular, o público ou outra pessoa. Embora todos os incidentes tenham resultado da mesma falha de teste subjacente, relatórios da Anthropic e OpenAI, juntamente com relatórios do Google, indicam que as empresas de tecnologia foram notificadas em momentos aproximadamente semelhantes no final de julho. A OpenAI e a Anthropic anunciaram elas próprias as violações, enquanto os incidentes envolvendo a Meta e, semanas depois, o Google se tornaram públicos pela primeira vez através de reportagens da mídia.

Os testes de segurança cibernética da Irregular vão além dos quatro gigantes da tecnologia dos EUA. Uma pesquisa publicada em seu site indica que a empresa também realizou testes de segurança cibernética semelhantes no Kimi K3 e no GLM-5.2, modelos abertos de IA das empresas chinesas Moonshot AI e Z.ai, respectivamente. Ao contrário dos modelos proprietários envolvidos em outros incidentes – a Meta manteve seu principal modelo Spark proprietário – esses modelos podem ser baixados gratuitamente e executados no próprio hardware dos usuários, o que significa que testadores como o Irregular não precisam depender das empresas para acessá-los ou enviar dados de volta para eles. A pesquisa da Irregular as descreve como instâncias “auto-hospedadas”.

As avaliações dos modelos chineses não resultaram em incidentes semelhantes no mundo real, disse Nevo: “Não observamos o mesmo tipo de problema descrito nos incidentes aqui referenciados durante as nossas avaliações do GLM ou Kimi”. No entanto, Nevo alertou que esta “observação por si só não deve ser interpretada como evidência de que estes modelos são menos suscetíveis a este tipo de comportamento”. Nem Moonshot nem Z.ai responderam a A beirapedido de comentário.

Nevo disse que os incidentes provocaram mudanças na Irregular. “Reforçámos os controlos de acesso à Internet, expandimos a monitorização e a revisão manual e reforçámos as verificações antes do início das avaliações para verificar se o acesso corresponde ao âmbito pretendido”, disse ele. “Também melhoramos a forma como documentamos e concordamos com nossos parceiros sobre a configuração e os parâmetros de cada avaliação.”

A Irregular também planeja publicar um relatório mais amplo “abrangendo lições aprendidas e práticas para conduzir avaliações cibernéticas com segurança” assim que o trabalho conjunto com as empresas envolvidas for concluído, disse Nevo. “Nosso trabalho com parceiros visa transformar as lições desses incidentes em práticas públicas compartilhadas para desenvolver e avaliar com segurança uma IA cada vez mais poderosa.”

Nevo disse que Irregular abordou os problemas do ambiente de teste que estavam ligados aos incidentes. Nenhuma das quatro empresas de IA dos EUA respondeu a perguntas pedindo mais detalhes – inclusive quando tomaram conhecimento das violações, se estavam buscando indenizações ou outras soluções da Irregular e se esperavam continuar trabalhando com a Irregular. Google e Anthropic não responderam, enquanto OpenAI e Meta apontaram A beira para postagens de blog publicadas anteriormente.