OpenAI adiciona um proeminente AI Doomer ao seu conselho de administração

Paul Christiano, um influente pesquisador de IA focado em manter os sistemas de IA alinhados com os interesses humanos e sob controle humano, está se juntando ao conselho da OpenAI Foundation, disse o laboratório de fronteira na quarta-feira.

“Acredito agora que existe um risco significativo de que a rápida aceleração das capacidades de IA conduza a uma perda de controlo catastrófica e irreversível num prazo muito curto”, escreveu Christiano numa publicação nas redes sociais. “Não creio que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho certo para reduzir este risco a um nível aceitável. Estou aderindo porque acredito que se a OpenAI estiver à altura da situação, poderemos reduzir significativamente o risco.”

Christiano escreveu que o uso de modelos de IA para treinar sistemas de IA subsequentes poderia resultar em uma explosão de capacidades que seus criadores não podem controlar.

Ele se junta ao conselho enquanto a OpenAI enfrenta um escrutínio renovado sobre seus procedimentos de segurança, após uma série de incidentes em que agentes de IA escaparam das restrições e penetraram fora dos sistemas de computador sem o conhecimento dos pesquisadores da OpenAI. Na terça-feira, o pesquisador antrópico Jacob Coxon renunciou ao cargo para chamar a atenção para o que considera o desenvolvimento irresponsável da IA ​​— e parece ter funcionado.

Christiano fará parte do Comitê de Segurança e Proteção do conselho, liderado pelo professor da Carnegie Mellon University, Zico Kolter. O comitê tem a palavra final sobre se a OpenAI lançará novos modelos, como o Astra, que foi implantado na semana passada. Kolter não comentou publicamente os recentes incidentes de segurança. A OpenAI não respondeu ao pedido do TechCrunch sobre a perspectiva de Kolter sobre a abordagem da empresa em relação à segurança após esses incidentes.

Christiano é uma das pessoas por trás do aprendizado por reforço (RL) a partir de feedback humano, uma técnica chave para treinar grandes modelos de linguagem que ele desenvolveu enquanto trabalhava na OpenAI. Ele deixou o laboratório em 2021, fundando posteriormente o Alignment Research Center para se concentrar em como determinar se um modelo de IA poderia ameaçar seus criadores humanos.

“Atualmente treinamos nossos agentes de IA com RL para obter o máximo de recompensa possível”, escreveu ele na quarta-feira. “Há muito que parecia teoricamente possível que isto pudesse motivar os agentes da IA ​​a minar o controlo humano, a procurar poder e recursos, e a encobrir os seus rastos na prossecução de objectivos desalinhados e correlacionados com a recompensa. Evidências públicas de incidentes recentes sugerem que esta não é apenas uma possibilidade teórica.”

Em algum momento de 2024, Christiano tornou-se afiliado ao AI Safety Institute do governo dos EUA, que mais tarde se tornou o Centro de Padrões e Inovação de IA. Lá, ele desempenha um papel no esforço amplamente oculto do governo dos EUA para avaliar modelos de IA de fronteira antes de seu lançamento.

De acordo com o anúncio do laboratório de fronteira, Christiano continuará assessorando o governo enquanto atua em sua nova função como membro do conselho, mas se recusará a participar de assuntos da OpenAI e avaliações de modelos. No entanto, isso dificilmente irá acalmar as preocupações generalizadas sobre a influência da indústria da IA ​​na elaboração de políticas.