OpenAI afirma que está cortando o acesso à Internet para treinamento de modelo de fronteira

A OpenAI treinará modelos de IA de ponta sem acesso à Internet no futuro, anunciou a empresa em uma postagem no blog, em uma tentativa de proteger a infraestrutura da Internet e limitar outros riscos de segurança. A decisão foi inspirada no próprio incidente de IA desonesto da OpenAI: em julho, a empresa compartilhou que agentes que estava testando o Hugging Face hackeado, apenas o primeiro no que se transformou em uma série de relatórios de mau comportamento de IA da OpenAI, Anthropic e Google.

“Com base no estado atual da pesquisa de alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da Internet, acreditamos que a abordagem responsável é realizar treinamento em modelo de fronteira sem acesso à Internet”, afirma OpenAI.

A empresa disse que as restrições sobre o que os agentes podem acessar são “fundamentais” para sua nova abordagem. A empresa permite que os agentes acessem navegadores, ferramentas de uso de computador e ambientes de código necessários para tarefas de treinamento, mas em um ambiente seguro que não está conectado à Internet ao vivo. A comunicação também é limitada apenas a agentes com autorização.

OpenAI

Todo o resto permanece fora de alcance, inclusive a internet ao vivo, que a empresa diz não ser necessária para treinamento e “maior avaliação”. Como muitos de seus modelos recentes são destinados a agentes como Dots, que navegam e usam aplicativos para você, a OpenAI construiu um “mundo offline” de material da web indexado e armazenado em cache para os agentes usarem sem tocar em sites ativos.

Mesmo com essas restrições, a OpenAI diz que os agentes da equipe vermelha enviados para testar as salvaguardas de segurança encontraram vulnerabilidades que lhes permitiram escapar das máquinas virtuais (VMs) usadas para isolar os agentes de seu sistema host. Os agentes também encontraram uma maneira de se comunicarem entre si, manipulando dados no cache de um processador e cronometrando quanto tempo leva para carregar. Para resolver ambos, a OpenAI diz que divulgou e corrigiu vulnerabilidades em várias VMs e adicionou verificações aos seus sistemas de monitoramento para detectar quando os modelos tentam colaborar.

OpenAI interrompeu o treinamento de fronteira em setembro. Ao anunciar este novo processo sem Internet, a empresa partilhou que reiniciou a formação em 1 de outubro. A OpenAI planeia continuar a formação de fronteira sem acesso à Internet até que melhorias nas salvaguardas existentes “justifiquem um acesso mais amplo à Internet”, mas não partilhou como seriam essas melhorias.