Por que tantos pesquisadores de IA acham que as máquinas poderiam matar todo mundo

No início deste ano, Rishub Jain deixou seu cargo de pesquisador de inteligência artificial no Google DeepMind após uma revelação.

À medida que trabalhava em novos modelos, ele passou a acreditar que ele e todos os outros na fronteira da IA ​​estavam cedendo o controle. Ao usar as habilidades de codificação da IA ​​para acelerar o trabalho na próxima geração de modelos, ele estava se retirando da equação. Os laboratórios de IA esperam evoluir essa abordagem a ponto de a IA melhorar indefinidamente, um processo conhecido como autoaperfeiçoamento recursivo.

Jain acreditava que manter os humanos em cena poderia ser crucial para manter o controle sobre a tecnologia – e evitar consequências terríveis. “O progresso da IA ​​está aumentando”, disse ele à WIRED. “E à medida que a IA se torna mais capaz, ela apresenta mais riscos.” A ideia de que ele poderia não ter a devida visibilidade sobre como um modelo de IA estava construindo seu sucessor deixou-o tão inquieto que, em junho, ele pediu demissão.

Jain faz parte de um número crescente de pesquisadores de IA que falam abertamente sobre esses medos.

O pânico se intensificou nas últimas semanas. Avanços verdadeiramente impressionantes nas capacidades de IA – um modelo OpenAI resolveu um problema matemático secular em questão de horas – ocorreram em meio a uma série de incidentes de segurança que fizeram com que enxames de agentes se libertassem da contenção para invadir outros sistemas.

Essas preocupações atingiram o auge esta semana depois que o pesquisador Jacob Coxon anunciou sua demissão da Anthropic, ao mesmo tempo em que alertava que as empresas de IA estão “correndo direto para o autoaperfeiçoamento da superinteligência e apostando em nossas vidas”. Um líder sênior da Antrópico — que trabalha com segurança de IA — fez uma avaliação igualmente contundente: “Acreditamos sinceramente que a IA poderia matar todos os seres humanos! Pessoalmente, acho que será >10% na próxima década.”

“Acho que a visão do autoaperfeiçoamento recursivo está assustando as pessoas”, diz Nate Soares, cientista da computação da MIRA, uma organização de pesquisa sem fins lucrativos, e coautor de Se alguém construir, todo mundo morreque argumenta que a IA sobre-humana levaria à extinção humana. “Está começando a parecer real.”

Um componente-chave do autoaperfeiçoamento recursivo é a ideia de um ciclo de feedback que automatiza o processo de desenvolvimento para que a IA se torne cada vez mais poderosa. Nenhum laboratório de IA de fronteira afirma ter alcançado este tipo de ciclo de melhoria totalmente autônomo; permanece teórico por enquanto. Mas inspirou o lançamento de algumas startups bem financiadas, como a Recursive Intelligence, bem como avisos de grandes empresas sobre resultados não intencionais saídos diretamente de “O Aprendiz de Feiticeiro”.

Soares, que foi pioneiro no trabalho sobre alinhamento, um campo técnico que envolve tentar combinar a IA com os valores humanos, diz que também está a tornar-se mais evidente que não existe uma forma prática de garantir que a IA se comportará bem.

“Acho que muitas pessoas tinham essa fantasia de que (o alinhamento) ficaria mais fácil à medida que essas coisas ficassem mais inteligentes, e agora está ficando mais difícil. E eles disseram, ‘Oh, merda'”, diz ele.

Soares diz que conversa regularmente com pessoas dentro dos grandes laboratórios de IA que estão preocupadas com as possíveis consequências da pesquisa que estão fazendo. “Costumo recomendar que eles desistam e eles dizem que isso não adiantaria nada”, diz ele. “E então Jacob desiste e vemos quem estava certo.”

Daniel Kokotajlo, autor do AI 2027, um projeto influente que alerta sobre os perigos de uma IA cada vez mais poderosa, compartilha temores sobre o autoaperfeiçoamento recursivo. A versão deste trabalho que está sendo feito atualmente envolve frequentemente o envio de milhares de agentes para colaborar em um problema, algo que abstrai ainda mais a supervisão e o controle devido à vasta complexidade envolvida.

Muitos pessimistas parecem concordar que os incentivos para as grandes empresas de IA dificilmente estão alinhados com bons resultados, especialmente à medida que a OpenAI e a Anthropic avançam em direcção aos seus respectivos IPOs. “Na Anthropic, os riscos são bem compreendidos, mas eles estão travando uma corrida para chegar lá primeiro”, escreveu Coxon no X.