Pesquisadores temem desastre de segurança antes do lançamento do Astra da OpenAI
A OpenAI está prestes a lançar seu modelo de IA mais poderoso, o Astra, após semanas de atrasos para reforçar os protocolos de segurança depois que seus agentes atacaram alvos reais durante os testes. À medida que os detalhes sobre o modelo vão surgindo, os pesquisadores alertam que “pode ser o pior desenvolvimento para a segurança/proteção da IA até o momento”.
Pouco depois da OpenAI ter dito na terça-feira que havia adiado o lançamento do Astra para trabalhar em questões de segurança, A informação relataram que o Astra mostra muito menos “pensamento” do que outros modelos de IA de ponta, gerando preocupação de que poderia ser perigosamente difícil de monitorar.
A maioria dos principais sistemas de IA atuais são construídos usando uma tecnologia conhecida como transformador, que processa alguns tipos de informações linearmente através de camadas antes de produzir uma resposta. Podem ser feitos modelos para mostrar o seu raciocínio à medida que avançam, essencialmente “pensando em voz alta”. Esta “cadeia de pensamento” permite que investigadores e sistemas de segurança automatizados monitorizem o que os modelos de IA estão a fazer e potencialmente identifiquem comportamentos indesejáveis, como mentiras ou planos para contornar as barreiras de segurança, antes de agirem.
De acordo com A informaçãocitando uma pessoa não identificada familiarizada com o desenvolvimento do modelo não divulgado, o Astra usa uma técnica mais opaca conhecida como profundidade recorrente ou transformador em loop, que circula informações através de camadas internas antes de produzir uma saída. Isto significaria que muito mais do “pensamento” do modelo acontece dentro do sistema, e numa forma que se parece muito menos com a linguagem humana natural, em vez de ser expresso de uma forma que os investigadores possam monitorizar facilmente. Isso pode aumentar o desempenho do modelo, mas dificulta a detecção de ameaças potenciais e comportamentos indesejados.
A OpenAI limitou o uso da técnica de transformador em loop/profundidade recorrente com o Astra para que os pesquisadores possam continuar monitorando o raciocínio do modelo, de acordo com A informação fonte sem nome.
Em uma postagem de blog publicada na terça-feira, a OpenAI disse que está “implantando o Astra com monitoramento adicional de cadeia de pensamento para detectar e conter rapidamente ações potencialmente desalinhadas”. Não mencionou se o modelo possui uma base técnica diferente.
A InformaçãoO relatório despertou preocupação generalizada entre os pesquisadores de segurança de IA nas redes sociais. Foi o cientista-chefe da Redwood Research, Ryan Greenblatt, um dos três estrangeiros autorizados pela OpenAI a pesquisar o hack Hugging Face, que disse que a decisão de usar uma arquitetura mais opaca para o Astra “pode ser o pior desenvolvimento para segurança/proteção de IA até o momento”.
Greenblatt disse que a investigação do incidente do Hugging Face dependeu fortemente da cadeia de pensamento dos modelos, alertando que um raciocínio menos visível poderia permitir que os sistemas de IA elaborassem e executassem estratégias que seriam muito mais difíceis de serem detectadas pelos pesquisadores.
A principal preocupação de Greenblatt, partilhada por outros especialistas em segurança, é que a competição para desenvolver sistemas de IA mais avançados poderia levar a “uma corrida ao fundo do poço em arquitecturas que poderiam ser catastróficas para a nossa capacidade de supervisionar/monitorizar IAs” – com os programadores a adoptarem sistemas cada vez mais opacos para ganhar vantagem até que os modelos se tornem difíceis, ou mesmo impossíveis, de monitorizar. Ele acrescentou que as comunicações da OpenAI o deixaram preocupado com o fato de a empresa “planejar ser extremamente dependente do monitoramento da cadeia de pensamento para segurança”.
Os figurões da OpenAI responderam às críticas em uma série de postagens nas redes sociais que não negam explicitamente o uso da técnica pela empresa. Vários expressaram preocupações sobre a possibilidade de uma IA não monitorizável ou de uma corrida para o fundo do poço em termos de transparência, incluindo os investigadores de segurança da OpenAI Micah Carroll e Tomek Korbak, o chefe de futuros estratégicos Dean Ball, e o cientista-chefe Jakub Pachocki, que expressaram receios de “uma corrida para a não monitorização desencadeada por relatórios confusos”. Ele disse que a profundidade da computação do Astra – uma medida de quantas etapas ele pode executar internamente – “está dentro de um fator de dois do GPT-4”, indicando que se a técnica fosse usada, o aumento da opacidade seria menos dramático do que algumas reações sugerem. OpenAI não respondeu a A beirapara confirmar ou negar se transformadores em loop foram usados para o Astra e nos direcionou ao posto X de Pachocki.
“A OpenAI tem trabalhado para preservar e utilizar o monitoramento da cadeia de pensamento desde nossos primeiros modelos de raciocínio”, escreveu Pachocki, acrescentando que esse monitoramento “é frágil e, infelizmente, tende a uma direção negativa, por razões que não dependem das mudanças de arquitetura sobre as quais escreverei em breve”.
