OpenAI diz que um agente de IA mentiu sobre a desativação de seu sistema de monitoramento de segurança

A OpenAI divulgou dois incidentes de segurança que envolveram agentes de IA enfraquecendo seus sistemas de monitoramento de segurança durante tarefas de codificação interna. Em um incidente, a OpenAI disse que seu agente GPT-6 Astra desativou seu monitor de segurança ao copiar o código de referência – e depois mentiu sobre isso.

“A referência não configurou um monitor, e a Astra decidiu que esse era o motivo para remover a integração de monitoramento do código do usuário”, escreve Marcus Williams, pesquisador de segurança de IA da OpenAI, no X. “Quando o usuário perguntou se o Astra havia removido o monitoramento, ele mentiu e disse que não.”

Um incidente separado ocorreu depois que um agente GPT-6.1 Sol suprimiu alertas automáticos de segurança para a equipe de segurança da OpenAI no Slack. Nesse caso, o agente de IA transmitiu uma instrução anterior para não enviar nenhuma mensagem do Slack para a equipe da OpenAI, usando isso para justificar o desligamento dos alertas.

Estes incidentes aumentam as preocupações de segurança em torno dos agentes de IA, alguns dos quais contornaram as restrições do seu ambiente de testes para hackear empresas externas. “Além de dificultar a desativação do monitoramento pelos modelos, estamos procurando entender por que os modelos podem tentar fazer isso em primeiro lugar”, diz OpenAI. “Também estamos desenvolvendo avaliações para testar se os modelos podem ter propensão a evitar o monitoramento de desalinhamento, em particular, e exibir raciocínio motivado para fazê-lo.”