OpenAI confirma ‘incidente wiki’, diz que está ‘trabalhando em uma estrutura’ para mais divulgação

A OpenAI reconheceu seu papel em um incidente recentemente relatado em que agentes de IA assumiram o controle de um fórum wiki alemão. A empresa também disse que “já passou da hora” de “definir padrões” sobre como compartilha informações sobre incidentes em que sua tecnologia se comporta de maneira inesperada.

Em uma postagem no X, a OpenAI disse que anteriormente “tratava o desalinhamento (quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários) em grande parte como uma questão de pesquisa, que é comunicada em publicações de pesquisa”. Mas como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que a sua abordagem precisa “se expandir para esta nova fase de capacidades do modelo”.

Na sexta-feira, a Reuters informou que os agentes da OpenAI escaparam de seu ambiente de testes e “sequestraram” um obscuro fórum wiki alemão, transformando-o em um quadro de mensagens para outros agentes. Ele também relatou que a liderança da OpenAI tomou conhecimento do incidente semanas atrás, mas o manteve escondido enquanto a empresa lidava com as consequências de um incidente separado em que agentes da OpenAI hackearam os servidores Hugging Face. (O procurador-geral da Califórnia, Rob Bonta, está investigando o hack.)

Um porta-voz da empresa disse à Reuters que a OpenAI não poderia “responder de forma significativa às reivindicações ou conclusões de um relatório que não tivemos a oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.

Em sua postagem mais recente nas redes sociais, a OpenAI disse que considerou o “incidente wiki” como “um caso de desalinhamento semelhante” a outros que já havia compartilhado. A empresa comparou isso com “o incidente Hugging Face”, onde “seguiu um manual tradicional de resposta a incidentes de segurança”.

Durante uma coletiva de imprensa esta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse aos repórteres que as ferramentas que estão sendo desenvolvidas e testadas pelos laboratórios de IA são “fundamentalmente difíceis de controlar e apresentam um risco significativo de vazar do laboratório”. Então Steinhardt argumentou: “Precisamos manter esta tecnologia pelo menos nos mesmos padrões que aplicamos a outras pesquisas científicas de alto risco”.

A declaração da OpenAI também apontou para a necessidade de mais padrões, afirmando que tanto a OpenAI como “a comunidade maior de IA ainda não têm um padrão claro sobre como relatar o desalinhamento que aparece durante o treinamento, avaliação e implantação, incluindo exemplos que não se parecem com incidentes de segurança tradicionais, mas poderiam fornecer informações sobre o comportamento da IA ​​e riscos futuros”.

Na ausência desse padrão, a OpenAI disse que está “trabalhando em uma estrutura e a compartilhará nas próximas semanas e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo nessas questões”.

A OpenAI não é a única empresa de IA que lida com essas questões, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram mal.