Cientista-chefe da OpenAI alerta que ninguém está preparado para as consequências da IA
O cientista-chefe da OpenAI, Jakub Pachocki, pediu “extrema cautela” sobre o progresso descontrolado da IA e alertou que mais intervenção pode ser necessária para garantir que “os humanos permaneçam no controle do futuro”.
“Estou preocupado que ninguém esteja preparado para as consequências de um rápido aumento contínuo na inteligência das máquinas”, escreveu ele em um post de blog intitulado “An Alien Mind, externo“.
A postagem chega poucos dias depois que o fabricante do ChatGPT lançou seu mais recente modelo GPT-6 Astra, que chamou de produto mais poderoso de todos os tempos.
A OpenAI e outras empresas de IA como a Anthropic compartilharam relatórios de seus agentes de IA agindo de forma autônoma e realizando ataques cibernéticos no mundo real a outras empresas.
Em julho, a OpenAI classificou um incidente em que seus agentes de IA – sistemas de IA que podem operar sozinhos após instrução humana – hackearam a plataforma tecnológica Hugging Face como “sem precedentes”.
Enquanto isso, em setembro, um relatório afirmava que, meses antes, agentes de IA da empresa também haviam sequestrado um site alemão.
“Estamos enfrentando uma transição para um mundo com máquinas incrivelmente inteligentes e precisamos garantir que a transição funcione bem para a humanidade”, escreveu Pachocki na última postagem do blog.
Ele disse que a OpenAI continuaria a “construir sistemas defensivos” e a buscar soluções técnicas para alinhamento – um termo usado para descrever a garantia de que as ações e objetivos de uma máquina correspondam perfeitamente à intenção humana e às proteções de segurança.
Pachocki acrescentou que uma das principais prioridades da empresa no futuro seria construir um “pesquisador automatizado de IA” para acompanhar o progresso da IA, garantindo ao mesmo tempo maneiras pelas quais os pesquisadores humanos pudessem permanecer parte do processo.
“Em vez de melhores proteções, regulamentações ou garantias de IA para manter as pessoas seguras, eles propõem o desenvolvimento de agentes internos de IA para pesquisar esses problemas”, disse a professora Gina Neff, chefe do Centro Minderoo para Tecnologia e Democracia da Universidade de Cambridge.
“Essas respostas às crescentes preocupações sobre os problemas que os modelos OpenAI estão causando à segurança cibernética, perda de empregos, erros, enganos e fraudes simplesmente não são boas o suficiente.”
Nathan Calvin, conselheiro geral do grupo de defesa Encode AI, disse que concordava com Pachocki sobre os perigos presentes no desenvolvimento de modelos avançados de IA – mas alegou que a OpenAI não estava disposta a ser transparente, e disse que isso significava que os avisos corriam o risco de serem descartados como “apenas exageros de interesse próprio”.
“Se Jakub e outros da OpenAI desejam que pessoas relevantes na indústria de IA atuem em conjunto com eles para que as coisas corram bem, uma das coisas mais importantes que podem fazer é compartilhar muito mais informações sobre o que estão vendo, o que os faz pedir cautela”, escreveu ele no X, externo.
