Alinhamento antrópico emite alerta sobre a morte de humanos pela IA enquanto o pesquisador se demite
Linha superior
Um pesquisador sênior que lidera os esforços de alinhamento da Anthropic disse na terça-feira que muitos na empresa acreditavam que a IA poderia acabar com a humanidade e alertou que a empresa não está no caminho certo para resolver a questão do alinhamento dos objetivos da IA com os da humanidade, apesar de seus esforços, depois que outro pesquisador deixou a empresa, acusando-a de não agir de forma responsável.
Principais fatos
Evan Hubinger, líder científico de alinhamento da Anthropic, escreveu no X que ele e os seus colegas “acreditam sinceramente que a IA pode matar todos os humanos”, e fixou a sua própria estimativa em mais de 10% na próxima década.
Hubinger disse que a empresa está “tentando o seu melhor”, mas ainda não tem um plano para resolver a questão do “alinhamento para a superinteligência” e não está “claramente no caminho certo” para fazê-lo.
A postagem de Hubinger respondeu a um Fio X por outro pesquisador da Antrópico, Jacob Coxon, que anunciou que está se demitindo da empresa por questões de segurança de IA.
Coxon, que disse ter trabalhado em pesquisas de pré-treinamento na OpenAI e na Anthropic, alertou que as empresas rivais não estavam agindo de forma responsável ao “correr direto para o autoaperfeiçoamento da superinteligência e jogar com nossas vidas”.
O pesquisador que está saindo observou que as pessoas que estão construindo IA acreditam que ela poderia “matar todos nós até o final da década”, e isso não foi um “golpe de marketing”.
citação crucial
Em um publicar seguindo o seu terrível aviso, Hubinger citou o último relatório de risco da Anthropic e disse que a ameaça representada pelos modelos actuais é baixa e acrescentou: “O que me preocupa é a superinteligência resultante do auto-aperfeiçoamento recursivo, como dissemos, que está a acontecer mais rapidamente do que pensávamos”.
O que sabemos sobre a demissão do pesquisador antrópico?
O Jornal de Wall Street relatou pela primeira vez a saída de Coxon da Anthropic devido a preocupações sobre o impulso para construir sistemas de IA auto-aperfeiçoados que poderiam ameaçar a humanidade. Coxon disse ao Journal que acredita que o mundo está no caminho certo para “muitos dos cenários mais agressivos, onde no final do próximo ano as coisas já poderão estar fora de controlo”. Em suas postagens X, Coxon comparou o trabalho na OpenAI e na Anthropic, observando que os funcionários do criador do ChatGPT não “internalizaram profundamente os riscos civilizacionais”. Ele disse que os riscos eram “bem compreendidos” na Anthropic, mas a empresa estava “travada em uma corrida para chegar lá primeiro”, pois acredita que “ninguém mais agirá de forma responsável, então eles devem fazer isso sozinhos, apesar do risco”.
