O que acontece quando a IA começa a se auto-replicar?

A Frontier Red Team da Anthropic publicou recentemente uma pesquisa sugerindo que pequenos modelos de IA podem estar a apenas alguns meses de serem replicados e espalhados por dispositivos inseguros, criando botnets autônomos lentos, mas difíceis de eliminar. As empresas de IA não são estranhas ao aproveitar o potencial mundial dos seus produtos como forma de marketing, mas, neste caso, os especialistas que o Engadget falou concordam amplamente que pequenos modelos de IA podem tornar-se capazes de se auto-replicarem num futuro próximo. No entanto, a ameaça real que representam pode ser menos nova do que parece.

“Talvez seja um pouco mais cedo do que eu teria dito. Eu teria previsto algo mais parecido com o verão do próximo ano, como o momento em que estaria realmente preocupado com isso”, diz Chris Canal, CEO da EquiStamp, uma empresa que trabalha com laboratórios de IA, organizações de segurança e governos para verificar e avaliar modelos. “É muito provável que a Anthropic tenha funcionários com informações sobre a fronteira da pesquisa às quais não tenho acesso. Portanto, eles poderiam muito bem estar fazendo previsões melhores”. Canal atribui o ritmo recente de avanço do modelo ao fato de que os funcionários da Anthropic e de outros laboratórios fronteiriços estão usando suas próprias ferramentas de IA para fazer pesquisas de aprendizado de máquina.

“Acho que (os modelos auto-replicáveis) estão no futuro. Acho que são reais. Acho que os veremos”, diz Michael Bailey, professor da Escola de Segurança Cibernética e Privacidade da Georgia Tech. “Se eles assumirão a forma exata e terão as mesmas consequências que o lançamento (antrópico) é uma questão completamente aberta”.

Bailey estuda worms da Internet desde o início dos anos 2000 e, mais recentemente, botnets. Em 2017, ele co-escreveu Compreendendo o botnet Miraique a Anthropic cita como parte de sua própria pesquisa. Mirai permitiu que um grupo de cibercriminosos criasse uma grande botnet de dispositivos IoT que mais tarde usaram para realizar um ataque DDoS contra a PlayStation Network da Sony. No processo, acabaram afetando a Dyn, um dos maiores provedores de DNS dos EUA. Por sua vez, o ataque quebrou grande parte da Internet em 2016, deixando Amazon, GitHub, PayPal, Reddit e Twitter offline para muitos usuários nos EUA e em partes da Europa. As consequências financeiras do ataque foram significativas, com a Sony estimando que perdeu cerca de US$ 2,7 milhões em receita líquida.

“O que Mirai mostrou é que é possível compor essas botnets – e torná-las úteis – a partir de dispositivos do dia a dia: roteadores a cabo, câmeras habilitadas para IP, esse tipo de coisa”, diz Bailey. “Achávamos que esses dispositivos não eram úteis para um adversário, nem como alvos nem como fontes de computação para lançar ataques. Na verdade, eles são bastante eficazes para fazer esse tipo de coisa.”

Uma década depois, a Anthropic argumenta que os worms de IA poderiam representar uma evolução significativa do Mirai e de outros botnets codificados como o Kimwolf, porque eles poderiam descobrir dispositivos desconhecidos por conta própria. Bailey diz que a adaptabilidade em si não é nova. Mirai já trabalhou em dispositivos “heterogêneos”, de roteadores a câmeras IP rodando em diferentes arquiteturas de chips. Mas essa adaptabilidade era finita: cada nova arquitetura exigia trabalho humano, no mínimo a recompilação do malware. O que é novidade, diz Bailey, é a perspectiva de a IA automatizar esse trabalho, embora ele não ache que a Anthropic tenha demonstrado isso “de uma forma convincente”.

Como resultado, Bailey sugere que modelos de IA mais capazes irão “redistribuir” quem faz o trabalho de criação de botnets. “Não vai fazer coisas novas”, diz ele. “Isso vai mudar a economia entre atacantes e defensores”. Embora a Anthropic tenha mostrado que um modelo poderia alternar entre dispositivos e configurar inferências em cada um, ele o fez em uma rede emulada onde a “exploração” envolvida era trivial. Além disso, Bailey discorda da afirmação auto-replicante da Anthropic.

“O enquadramento é um nome um tanto impróprio, porque eles estão fazendo coisas como fragmentação. Não que isso seja ruim, mas não é como um worm ou um vírus. Não é uma propagação completa”, diz ele. Em vez disso, Bailey argumenta que um botnet de IA do mundo real pode funcionar mais como um conta-gotas, um tipo de malware que se instala em um dispositivo e instala outro código. Em vez de se copiar em todas as máquinas que compromete, a botnet instalaria uma pequena ferramenta de coordenação que recebe instruções de outros pontos da rede.

“A ideia de que o malware em si é auto-replicante, como os worms da Internet existentes, onde eu copiaria uma cópia exata do meu código para a nova arquitetura e ele começaria a executar um novo agente – não é isso que está acontecendo aqui”, diz Bailey. Ele também observa que os worms podem ser polimórficos, o que significa que podem mudar tanto sua assinatura quanto seu comportamento. Para que uma botnet de IA faça isso, diz ele, seria necessário treinar novamente seus próprios modelos, algo que a Anthropic não tentou. O mais próximo que chegou foi mostrar que as cópias de um modelo poderiam passar notas para seus sucessores e melhorar na configuração de inferências ao longo do tempo.

Como acontece com qualquer aviso vindo de um laboratório de IA, vale a pena perguntar se a Anthropic publicou esta pesquisa como uma forma de marketing, especialmente com a empresa entrando oficialmente com um pedido de IPO logo depois. “Acho que o mais provável é que as empresas estejam preocupadas com a imprudência de outras empresas de IA”, diz Canal. “Eles percebem que são incentivados a criar o melhor modelo e entregá-lo ao mercado com mais rapidez, para que possam ter participação no mercado, e sabem que as outras empresas têm os mesmos incentivos”.

Independentemente de esse novo vetor de ameaça ser realmente um worm e de quão longe no futuro ele possa realmente estar, as próprias sugestões da Antthropic sobre como mitigar seus danos são surpreendentemente antigas. Ele sugere que os ISPs notifiquem os clientes sobre uma infecção e, em seguida, limitem seu acesso à Internet a uma pequena lista de sites seguros – uma estratégia implantada durante o Mirai com grande efeito. A empresa também sugere a regulamentação como uma solução potencial, apontando para o Reino Unido, onde as senhas padrão facilmente adivinhadas em dispositivos IoT são agora proibidas pela Lei PSTI.

Nesse ponto, Bailey argumenta que a resposta apropriada aos worms de IA “se parece muito mais com o que temos feito na segurança de sistemas há muito tempo, em oposição a algo particularmente exclusivo do espaço de IA”. Na verdade, segundo Canal, seria difícil adicionar salvaguardas a um modelo de peso aberto que o impedisse de agir como um worm. “Há muitas ideias, mas não há nada robusto até agora”, diz ele. Em trabalho com a FAR.AI, uma organização sem fins lucrativos de pesquisa de segurança de IA, a EquiStamp descobriu que “basicamente qualquer estratégia que você usa no Google para remover proteções de um modelo funciona”.

Mas, como aponta Bailey, “mesmo agentes malcomportados terão dificuldades se enfrentarem dispositivos reforçados”. Se há uma única conclusão da pesquisa da Anthropic, diz ele, é que falhamos consistentemente em lembrar todas as lições de segurança que aprendemos no passado. A segurança na era dos worms de IA provavelmente será muito parecida com a de agora. “Parece que é preciso prestar atenção à correção desses dispositivos, prestar atenção ao isolamento, prestar atenção a boas senhas e boa higiene”, diz Bailey. Essas soluções são fáceis de descrever e notoriamente difíceis de implementar, mas se a IA realmente tornar esse tipo de ataque mais prevalente, talvez não tenhamos escolha.