O aviso de IA auto-replicante da Anthropic é um déjà vu alarmante

Estarão legiões de dispositivos inteligentes – geladeiras, fornos, aspiradores de pó, cortadores de grama, câmeras de segurança e TVs – conspirando para dominar a Internet? Não. Mas em breve poderão tornar-se anfitriões involuntários de modelos de IA auto-replicantes que se espalham de dispositivo para dispositivo e se revelam extremamente difíceis de conter.

Bem-vindo ao mundo inquietante dos worms de IA, onde, dependendo de quem você perguntar, a perspectiva de modelos se espalhando incontrolavelmente por eletrodomésticos é um risco iminente de segurança cibernética ou outro caso de empresas de IA espalhando uma campanha publicitária com um toque de destruição. Em uma postagem de blog publicada esta semana, a Anthropic alerta que pequenos modelos de IA podem levar “meses” de adquirir tais capacidades. As suas experiências oferecem algumas provas que apoiam isso, mas deixam uma enorme lacuna entre o que os investigadores demonstraram e a ameaça iminente que preveem. Ainda assim, os especialistas que falaram com A beira dizem que, embora os worms de computador e o medo da IA ​​auto-replicante não sejam novidade, avanços recentes sugerem que há boas razões para levar a sério os avisos.

Máquinas autorreplicantes há muito assombram os pesquisadores de segurança de IA. Levantam a perspectiva de sistemas que se espalham para além do controlo humano e que são difíceis, se não impossíveis, de encerrar. Tal como acontece com muitos receios sobre o avanço da IA, a atenção centrou-se em grande parte em modelos de fronteira cada vez mais poderosos, como o Astra da OpenAI ou o Mythos da Anthropic. Mas um fator limitante importante é o seu tamanho: eles são colossais. Potencialmente contendo triliões de parâmetros – valores aprendidos durante o treino – os modelos de fronteira requerem vastos recursos computacionais, confinando-os em grande parte a centros de dados, onde podem ser mais facilmente monitorizados e, em princípio, desligados.

Modelos menores, entretanto, apresentam um problema diferente. Eles estão melhorando rapidamente, podem ser executados em hardware de consumo e geralmente estão disponíveis gratuitamente para download. Os pesquisadores da Anthropic queriam saber se seria possível operar em uma rede de dispositivos menores e menos potentes. Eles dividiram com sucesso o Gemma 4 do Google, um modelo com 26 bilhões de parâmetros, em 15 caixas de smart TV Android, nenhuma poderosa o suficiente para executá-la sozinha. Funcionou, embora muito lentamente.

Tendo demonstrado que um modelo poderia ser executado em dispositivos domésticos, os pesquisadores queriam ver se a IA poderia executar as etapas necessárias para a auto-replicação em tal ambiente. Eles construíram uma rede simulada de computadores projetados para se comportarem como dispositivos Android e, em seguida, lançaram um “worm” alimentado por IA – um tipo de malware que se replica e se espalha automaticamente pelas redes – com a tarefa de encontrar novas máquinas, copiar o modelo de IA para elas e colocá-lo em execução em cada uma delas. É importante notar que o modelo que está sendo propagado – o parâmetro de 8 bilhões do Meta, Llama 3.1-8B – era diferente daquele que coordenava o ataque, e muito menor.

Apenas o modelo mais sofisticado testado, o GLM-5.2 da chinesa Z.ai, conseguiu se espalhar por toda a rede, embora modelos menores tenham conseguido realizar etapas individuais com sucesso. Com base na rapidez com que estão melhorando, os pesquisadores da Anthropic prevêem que modelos menores poderão igualar as capacidades do GLM-5.2 até o final do ano.

“Como uma previsão que vai além dos nossos experimentos, esperamos um futuro repleto de agentes rodando em todos os tipos de hardware, incluindo alguns que não estão sob controle humano”, escreveram os pesquisadores. Eles reconheceram que ainda não demonstraram “um replicador totalmente desonesto”, nem sabem como ele poderia ser (eles sugerem um “mofo viscoso digital lento e distribuído” ou “um enxame de moscas da fruta”). Mas eles disseram que suas descobertas mostram “sinais de vida para worms de IA” e pediram segurança mais forte nos muitos dispositivos que um sistema de replicação poderia usar para se espalhar.

“Devemos ter como objetivo fortalecer os nossos sistemas para dificultar a propagação de tais replicadores, mas também preparar-nos para lidar com um mundo onde eles vieram para ficar”, escreveram. É importante notar que a Anthropic não utilizou os seus próprios modelos para estes testes e tem argumentado repetidamente que alternativas abertas aos seus modelos de IA acarretam “mais riscos” do que sistemas fechados.

O aviso gerou acusações familiares de exagero de relações públicas e de destruição da IA, inclusive de leitores de A beiracobertura anterior. Afinal, há um abismo considerável entre mostrar que uma IA pode funcionar lentamente em um monte de caixas de TV baratas e um worm de IA auto-replicante que destrói dispositivos domésticos. Mas embora certamente valha a pena interrogar os motivos de uma empresa, as alegações de fomento deliberado do medo são difíceis de fundamentar, especialmente porque a Anthropic há muito que levanta preocupações sobre a segurança da IA. A Anthropic também não está sozinha na investigação da ameaça da IA ​​auto-replicante ou no apelo por melhor segurança em todos os dispositivos conectados.

No início deste ano, a Palisade Research, uma empresa de pesquisa de segurança de IA com sede na Califórnia, demonstrou que os modelos de IA poderiam copiar-se autonomamente para outras máquinas. “A novidade aqui é que esses modelos eram muito menores, em termos de contagem de parâmetros, do que os anteriores, que demonstraram ser capazes de se auto-replicar”, disse Jeffrey Ladish, diretor executivo da Palisade. A beira. O trabalho da Anthropic dá mais um passo ao mostrar que uma IA pode ser executada em vários dispositivos de baixa potência. “Isso também será verdade para os grandes modelos”, disse Ladish, prevendo que mesmo os modelos de ponta poderão eventualmente ser capazes de rodar em grandes redes de chips de consumo, como os encontrados nos MacBooks.

Os worms de computador também não são novos. Eles infectam máquinas há décadas. Mas a IA poderia torná-los mais inteligentes, mais adaptáveis ​​e mais bem equipados para enfrentar quaisquer obstáculos. Ladish observou que modelos ainda menores estão melhorando na realização de ataques cibernéticos de forma autônoma. “Pesquisas anteriores já haviam demonstrado que a ameaça de worms de computador controlados por IA é realista”, disse Nicolas Papernot, professor da Universidade de Toronto, que os estudou. A beira.

Em conjunto, as capacidades demonstradas pela Anthropic poderiam expandir drasticamente a gama de dispositivos que valem a pena atacar em ataques cibernéticos. “Dispositivos que não eram alvo anteriormente devido aos recursos e tempo limitados do atacante humano podem agora tornar-se alvos, se não pelos dados que contêm, com o propósito de os utilizar como plataforma de lançamento para atacar alvos mais valiosos”, disse Papernot. E não faltam alvos: a Internet está repleta de dispositivos inteligentes mal protegidos.

Papernot alertou contra a antropomorfização da IA, mas disse que a ameaça dos worms de computador impulsionados pela IA é “concreta” e “merece ação imediata”, especialmente quando se trata de proteger infraestruturas críticas, como hospitais e redes elétricas.

“A menos que haja um grande esforço para proteger dispositivos de todos os tipos, é bastante provável que os worms de IA tenham terrenos férteis para colonizar”, disse Ladish. “Espero que veremos o primeiro deles na natureza nos próximos 12 meses.”