Equipe de IA ‘genuinamente assustada’ com o futuro da humanidade, disse ex-pesquisador antrópico à BBC

Um pesquisador de IA que saiu da Anthropic disse à BBC que as pessoas que trabalham na tecnologia estão “genuinamente assustadas” com a velocidade de seus avanços e o que isso pode significar para a humanidade.

Jacob Coxon conversou com Laura Kuenssberg da BBC no sábado sobre sua postagem viral de demissão, onde levantou preocupações sobre a inteligência artificial fora de controle.

“Acredito que se não abrandarmos ao actual ritmo de progresso, há uma forte probabilidade de que todos possamos morrer num futuro imediato”, disse ele.

Sua demissão ocorre em meio a crescentes preocupações com a segurança no setor, inclusive por parte de seu ex-chefe, o chefe da Anthropic Dario Amodei, que em um ensaio no sábado defendeu a desaceleração do desenvolvimento.

No entanto, alguns números da indústria dizem que os perigos estão a ser exagerados, possivelmente para criar entusiasmo em torno das duas maiores empresas de IA antes da sua potencial estreia no mercado de ações ou para provocar regulamentação que atrasaria os seus concorrentes.

Coxon, um britânico de 27 anos cuja pesquisa se concentra no treinamento de modelos de IA, disse que os líderes de IA, incluindo Elon Musk e Sam Altman da OpenAI, compartilharam preocupações semelhantes às de Amodei.

“Todos eles fizeram declarações sobre a necessidade de ter cuidado com o potencial de aquisição da IA. Todos falaram sobre isso. A aquisição da IA ​​implica a extinção humana”, disse Coxon.

A pergunta mais difícil de responder, segundo Coxon, é como seria isso.

“Qualquer tipo de cenário concreto que você possa traçar acaba soando como ficção científica”, disse Coxon, mas observa que os avanços que já aconteceram teriam soado como ficção no passado.

Um cenário potencial poderia envolver agentes de IA invadindo laboratórios médicos para “produzir vírus mortais de forma autônoma”, disse Coxon. Outro exemplo que ele listou poderia ser a invasão de IA na “infraestrutura crítica em que o mundo funciona”.

O pesquisador destaca um relatório recente da OpenAI, que detalhou como sua própria tecnologia iniciou uma onda de hackers contra uma plataforma online chamada Hugging Face.

“Eles fizeram isso de forma autônoma, sem qualquer incentivo humano. Eles escolheram embarcar nessa onda de hackers. Foi a combinação de coisas ficando mais rápidas e também mais assustadoras”, disse Coxon.

Um dos riscos descritos nos comentários de Amodei era o de um enxame de bots agindo como um supercomputador que poderia dominar a Internet.

Coxon disse que este cenário poderia ser realista dentro de seis meses a um ano.

A Anthropic e a OpenAI estão supostamente se preparando para ofertas públicas iniciais potencialmente recordes. Números da indústria sugeriram que comentários sobre os perigos e o poder da IA ​​podem ser concebidos para gerar entusiasmo. Outros críticos dizem que a Anthropic tem tentado desencadear um impulso regulatório para bloquear a concorrência, deixando ela e a OpenAI com um duopólio.

As opiniões de Coxon também foram questionadas pelo CEO da plataforma de IA Hugging Face, Clement Delangue.

“Desculpe, mas perguntar a Jacob sobre o risco de extinção da IA ​​​​é como perguntar ao seu cara do AC sobre as mudanças climáticas”, escreveu ele no X. “Não estou dizendo que é necessariamente desinteressante ou errado por si só, mas vamos manter as coisas em perspectiva.”

Após o ensaio de Amodei no sábado, porém, Delangue se ofereceu para ajudar a fazer parte das possíveis soluções propostas pelo chefe da Antrópico.

O chefe da Nvidia, Jensen Huang, também discutiu os comentários de Coxon diante de uma multidão em uma conferência organizada pelo banco de investimento Goldman Sachs na semana passada, disseram várias pessoas do grupo à BBC. Eles disseram que ele os rejeitou como falsos.

Huang disse anteriormente que a noção de que a IA “será o fim da humanidade” é “totalmente absurda”.

E embora ele possa ter interesse comercial num boom de IA – a Nvidia constrói chips que alimentam sistemas de IA – os seus comentários reflectem uma reacção crescente no Vale do Silício aos avisos existenciais de actuais e antigos funcionários.