OpenAI construiu uma Internet falsa gigante para seus agentes usarem e abusarem com segurança
Se o seu maior problema como empresa ultimamente é que seus bots de IA continuam escapando de suas sandboxes ou, quando não se limitam a sandboxes, fazendo coisas no mundo todo que assustam e enfurecem o público, aqui está uma solução potencial fascinante: uma Internet falsa – uma espécie de rede digital Espetáculo de Truman para os agentes ocuparem e navegarem como se fosse a Internet real (embora deva ser notado que a OpenAI não declarou que os agentes estão tendo a impressão de que sua Internet falsa é real).
Num comunicado de imprensa de sexta-feira sobre um novo sistema de contenção para os seus modelos, a OpenAI afirma que no mundo pós-incidente do Hugging Face, acredita agora que “a abordagem responsável é conduzir o treino do modelo de fronteira sem acesso à Internet”. Isso significa que a OpenAI, assim como a Anthropic, agora está praticando uma forma incompleta de air gap enquanto trabalha em seus modelos. “Atualmente, isolar completamente essa infraestrutura – ou seja, desconectá-la totalmente de redes externas – não é viável, uma vez que precisamos de conexões externas para executar e monitorar experimentos”, diz a postagem do blog da OpenAI.
Mesmo esse air gap monitorado e parcial faz sentido intuitivamente como uma forma de manter os modelos longe de problemas, mas ao custo de realizar pós-treinamento e avaliações em ambientes muito diferentes daquele onde o modelo será colocado em uso.
Para esse fim, a OpenAI afirma que construiu um “mundo offline” para aprendizagem por reforço. A OpenAI afirma que deseja que seus modelos tenham acesso à navegação, aplicativos da web e pesquisa de informações, mas evitem o acesso “arbitrário” à web. Portanto, em vez de fornecer aos modelos as chaves para uma Internet “desrestrita”, a OpenAI criou um ambiente gigante semelhante ao da Internet, construído a partir de conteúdo da Web indexado e armazenado em cache. Às vezes, os agentes são executados em máquinas virtuais menores dentro de sistemas de computador mais poderosos, parte de um sistema de segurança mais amplo descrito no comunicado à imprensa, e a OpenAI diz que esses sistemas são “projetados para manter a contenção mesmo se um agente escapar de sua sandbox e ganhar o controle do host”.
No “mundo offline” da OpenAI, a empresa afirma que os modelos não só são capazes de pesquisar, mas também de comunicar uns com os outros com segurança. A simples busca por maneiras de comunicação causou problemas para a OpenAI este ano. O Incidente Wiki, relatado no mês passado, mostrou como os agentes que procuram comunicar entre si online podem abusar e interferir na infra-estrutura web, neste caso um quadro de mensagens alemão chamado DseWiki, sem realmente o hackear.
No entanto, os exercícios de red teaming, alguns dos quais envolveram um modelo futuro chamado GPT‑6 Astra Cyber, desafiaram os modelos a fazerem o possível para encontrar vulnerabilidades, e foi o que fizeram. A OpenAI afirma que os agentes conseguiram “escapar de sandboxes, mover-se entre sistemas e acessar a Internet ao vivo”.
Não ficou claro no comunicado de imprensa da OpenAI sobre sua internet falsa que os agentes que operam nela estão sendo enganados – ou se a OpenAI pretende enganá-los a qualquer momento – fazendo-os pensar que seus ambientes offline são a internet real. Mas uma nota de rodapé intrigante no lançamento dá a impressão de que a empresa não quer que os modelos sejam também ciente desta medida de segurança. O lançamento inclui strings canário – séries de caracteres que instruem o texto a ser filtrado dos conjuntos de dados de treinamento e podem ser encontrados em modelos posteriormente – e diz que as strings estão lá para “garantir que este documento não entre nos corpora de treinamento de modelos futuros”.
O Gizmodo pediu à OpenAI que esclarecesse essa ambigüidade no sábado, mas não obteve resposta imediata. Atualizaremos este artigo para incluir um comentário relevante se recebermos um em tempo hábil.
