O CEO da Anthropic, Dario Amodei, pede uma pausa no desenvolvimento de IA, mais ou menos

Depois de mais uma semana turbulenta de desenvolvedores de IA fazendo afirmações malucas sobre como isso poderia matar toda a raça humana, o CEO da Anthropic, Dario Amodei, fez uma proposta: vamos desacelerar um pouco tudo isso.

Amodei escreveu num post de blog no sábado que, embora continue otimista, a IA será “o mais recente de uma longa linha de milagres tecnológicos que elevaram e enobreceram a humanidade”, os pesquisadores devem “acompanhar a fronteira” devido a riscos como IA desonesta, uso para crime e terrorismo, e perturbação económica.

“Ao longo dos últimos meses, convenci-me de que abordar totalmente os riscos requer ainda mais prudência – não apenas investir na prevenção de riscos, mas também acompanhar o ritmo de avanço das capacidades para que a prevenção de riscos tenha tempo para acompanhar”, escreveu Amodei.

“Devemos diminuir o ritmo com que melhoramos as capacidades dos modelos de IA”, acrescentou. “O progresso ainda parecerá rápido e devemos usar sabiamente o tempo que ganhamos.”

O plano proposto pela Amodei tem três etapas, nenhuma das quais constituiria um grande abrandamento por si só. Ele pede que as empresas de IA permitam a incorporação de avaliadores terceirizados, para que coordenem entre si e os governos sobre os padrões de segurança, e que o governo dos EUA busque uma coordenação global sobre a segurança da IA ​​(inclusive com “governos autoritários”, ou seja, China e Rússia).

Essas medidas por si só não retardariam o ritmo de desenvolvimento da IA, por isso Amodei sugeriu vários acordos possíveis “em ordem crescente de dificuldade”. Estes incluem um acordo restrito que proíbe as utilizações mais obviamente maliciosas da IA, como armas biológicas, um acordo internacional mais amplo para testar modelos antes da sua divulgação quanto a “riscos agudos”, um “limite de velocidade” para o auto-aperfeiçoamento recursivo e um “ritmo total, ou mesmo ‘pausa’”, no desenvolvimento da IA ​​entre governos.

Enquanto Amodei escrevia, ele apoiava a opção final, mas sugeria que era bastante improvável que isso acontecesse. Bastante conveniente para ele, não?

O CEO da Anthropic citou um incidente neste verão em que um enxame de bots OpenAI atacou o concorrente Hugging Face como motivo especial para cautela. A própria Anthropic disse que permitiria avaliadores terceirizados depois de divulgar um relatório esta semana admitindo que seus modelos haviam hackeado outras empresas ou explorado vulnerabilidades em pelo menos quatro ocasiões.

A carta de Amodei segue-se à demissão de um investigador antrópico, Jacob Coxon, que afirmou numa publicação nas redes sociais que as empresas de IA estão “correndo diretamente para a superinteligência auto-aperfeiçoada”. Ele acrescentou que os líderes da indústria “acreditam sinceramente que isso poderá matar todos nós até o final da década”. Isso ajudou o doomerismo da IA ​​a atingir uma espécie de crescendo esta semana, com opiniões fortes de desenvolvedores, cientistas e políticos.

Este é o ponto em que notamos que o doomerismo da IA ​​é também um dispositivo de marketing descarado utilizado para convencer todos de que estas empresas são todo-poderosas, os seus produtos inevitáveis ​​e a sua vitória inevitável. Embora seja óbvio que a IA pode ser perigosa, há amplo espaço para ser cético sobre o que é essencialmente especulação selvagem. Ao exagerar o risco de consequências apocalípticas, as empresas de IA tentam desviar a conversa das suas muitas outras práticas comerciais questionáveis.

“Ser capaz de compreender e navegar de forma confiável em novos problemas nos sistemas abertos e confusos do mundo físico é um pré-requisito óbvio para os sistemas de IA que representam uma ameaça na escala que os destruidores propõem”, disse Casey Mock, pesquisador de política tecnológica da Duke University, à Nature no início deste ano. A IA atual não está nem perto desse ponto.

“O ônus da prova deveria realmente recair sobre aqueles que afirmam que estamos em um trem descontrolado em direção ao desenvolvimento de uma superinteligência que exterminará a humanidade”, acrescentou Mock. A Nature observou que quando pesquisadores da University College London entrevistaram cerca de 4.000 pesquisadores de IA para um estudo pré-impresso em março, apenas 3% responderam que o “risco existencial” era sua principal preocupação (muito atrás do uso malicioso, dos impactos no trabalho e do hype, para citar alguns).

O New York Times observou que o CEO da OpenAI, Sam Altman, e o CEO da SpaceX/Tesla, Elon Musk, concordaram imediatamente com o plano nas redes sociais, o que deve deixar você profundamente desconfiado sobre o que está acontecendo.