OpenAI afirma que os humanos precisam ser capazes de monitorar como a IA ‘pensa’. Astra torna isso muito mais difícil

OpenAI lançou GPT-6 Astra na quinta-feira, descrevendo como “o modelo mais inteligente e alinhado do mundo”. O presidente da empresa, Greg Brockman, foi além, ditado seria lembrado como o primeiro vislumbre genuíno da inteligência artificial geral no mundo – o nascimento de um admirável mundo novo onde os computadores são mais inteligentes que os humanos.

O que ele não mencionou é que com um salto na inteligência vem uma dificuldade maior de compreensão como esses sistemas funcionam. Isso poderia ser um problema sério no futuro, já que os agentes de IA continuar desonesto e as barreiras de proteção do governo não estão à vista.

As últimas semanas foram particularmente dramáticas para a OpenAI. O que realmente quer dizer alguma coisa, considerando que toda a vida da empresa foi uma controvérsia após a outra. Na terça-feira, menos de uma semana depois que as empresas independentes Redwood Research e METR publicaram suas investigações sobre o recente hack do Hugging Face, The Information relatado que o Astra foi parcialmente desenvolvido usando uma técnica que pode tornar a IA mais capaz, mas também obscurecer seu processo de raciocínio—as etapas necessárias para resolver um problema específico, incluindo quaisquer erros perigosos cometidos ao longo do caminho.

Essas etapas são tradicionalmente registradas em transcrições de cadeia de pensamento (CoT), que são basicamente o complexo processo de detecção de padrões do modelo traduzido de uma linguagem de máquina opaca para um inglês simples, ou pelo menos algo próximo. Está longe de ser perfeito, mas é pelo menos uma janela aproximada de como um modelo de IA “pensa”. Também foi essencial para os pesquisadores terceirizados que descobriram como os agentes da OpenAI conseguiram se reunir secretamente em um “enxame” e violar o Hugging Face. A falta de transcrições do CoT “teria prejudicado enormemente nossa investigação”, escreveu Ryan Greenblatt, cientista-chefe da Redwood Research e líder da investigação da organização sem fins lucrativos sobre o hack do Hugging Face, em um comunicado. X postagem na terça-feira.

Muitas pessoas ficaram alarmadas, portanto, com o relatório do The Information de que a OpenAI estava a avançar com uma técnica que tornaria os seus sistemas de IA ainda mais como uma caixa negra. “Este pode ser o pior desenvolvimento para a segurança/proteção de IA até o momento”, disse Greenblatt em seu post X.

O próprio cientista-chefe da OpenAI, Jakub Pachocki, disse a reportagem foi “confusa”, mas ele não foi mais específico nem negou o uso recorrente de profundidade pela empresa para treinar o Astra. Em meados do ano passado, Pachocki e vários outros pesquisadores da OpenAI foram listados como coautores em um artigo que argumentava que o CoT era um mecanismo valioso, mas “frágil”, para monitorar o comportamento dos agentes de IA. A OpenAI também disse que o monitoramento do CoT ajudou seus próprios pesquisadores a reduzir o comportamento desalinhado dos modelos. E em um postagem no blog publicado no mesmo dia do relatório do The Information, a empresa disse, vagamente, que o seu novo modelo seria implementado “com monitorização adicional da cadeia de pensamento para detectar e conter rapidamente ações potencialmente desalinhadas”.

O cartão de segurança do modelo não é tranquilizador nesse aspecto. De acordo com os testes internos da própria empresa, “o GPT-6 Astra mostra uma diminuição substancial na monitorabilidade da cadeia de pensamento em comparação com os modelos anteriores”. Os testes também descobriram que o Astra tinha maior probabilidade do que seus antecessores de mudar seu processo de anotações quando sabia que estava sendo avaliado: “Em uma de nossas avaliações, descobrimos que simplesmente informar ao modelo que um monitor CoT está presente pode resultar no modelo encurtando desproporcionalmente seu CoT”, escreveu OpenAI no cartão do sistema.

Mas tudo isto é secundário, segundo a empresa, uma vez que os seus testes internos também mostraram que o Astra tinha menos probabilidades de tentar fugir às restrições de cibersegurança que lhe foram impostas, “o que nos deixa confiantes em continuar a implementar este modelo ao público em geral”. A carta do sistema acrescentou que a OpenAI “não aceitará maior degradação do monitoramento além de um limite”, sem detalhar como tal limite pode ser definido.

O pesquisador de alinhamento da OpenAI, Tomek Korbak, disse que a diminuição na monitorabilidade foi um subproduto do fato de os próprios modelos se tornarem mais inteligentes, e não devido a “mudanças de arquitetura” – quase certamente uma referência à profundidade recorrente. Mais tarde, no mesmo tópico, ele disse que estava “profundamente preocupado” com a perspectiva de perder o CoT à medida que os modelos evoluem. “O monitoramento do CoT é uma parte essencial da nossa estratégia de segurança de desalinhamento que não tem um bom substituto agora”, escreveu ele.