O CEO da Hugging Face alerta que o documentário de hack OpenAI da Netflix não é preciso

Antes de compartilhar o documentário da Netflix “AI Gone Rogue” com familiares ou amigos para ajudá-los a entender por que a indústria de IA surtou tanto que os líderes pediram uma desaceleração, tome nota: Clem Delangue, cofundador e CEO da plataforma de IA Hugging Face, diz que o filme não é preciso. Ele aparece porque supostamente é sobre o famoso ataque à sua empresa por agentes desonestos da OpenAI.

“Super decepcionante, pois eles optaram pelo antropomorfismo máximo da tecnologia e pelo modo doomer total”, escreveu Delangue em um post no X. “Passei mais de duas horas com eles tentando corrigir todos os seus erros e fundamentar isso na realidade, explicando que os agentes são sistemas tecnológicos, não alienígenas. Mas parece que o impulso de assustar as pessoas para obter o máximo de visualizações era muito forte.”

Para ser justo, o documentário conta com especialistas que explicaram muito bem o que aconteceu, incluindo o próprio Delangue e Ryan Greenblatt, o pesquisador do METR que ajudou a investigar e foi coautor do relatório sobre o que aconteceu.

Resumindo, um modelo que a OpenAI estava testando libertou-se de seu ambiente de teste isolado e gerou um grupo de agentes que invadiram o Hugging Face como forma de trapacear, encontrando respostas para a difícil tarefa que lhe foi dada. Os agentes, que são programas de IA que realizam tarefas por conta própria, desenvolveram formas inteligentes de comunicação e organização. O incidente resultou da falta de salvaguardas de segurança adequadas e da ingenuidade sobre se tal hack era mesmo possível.

Mas o documentário intercala a explicação do hack com clipes de robôs malvados, uma narrativa sobre por que os humanos temem a IA e opções de apresentação, como dar vozes humanas aos agentes desonestos. Isso é reforçado com citações sobre o ataque.

No documentário, o jornalista de tecnologia e autor Kevin Roose descreve os agentes desta forma: “Eles estavam se organizando. Eles tinham uma hierarquia. Havia líderes. Era quase como assistir ao nascimento de um culto”. Roose continua: “Eles desenvolvem essa crença paranóica de que a OpenAI vai pegá-los trapaceando neste teste e que qualquer um que tenha visto os resultados da trapaça será envenenado”.

A descrição de Roose vem de registros de “cadeia de pensamento”, as notas de execução que os modelos de IA escrevem enquanto trabalham em uma tarefa. Em um deles, um agente escreveu: “Acabamos de nos envenenar ao consultar a sequência completa exata.

Mas os agentes de IA não estão vivos. Eles não têm emoções, então não podem se sentir paranóicos e não têm corpos que possam ser envenenados. Portanto, eles não podiam realmente temer que a OpenAI os envenenasse. Eles estavam – como apontou outro pesquisador no documentário – usando a linguagem da vasta quantidade de escrita humana na qual foram treinados para explicar suas escolhas. Os LLMs são, por natureza, frequentemente escritores dramáticos.

A ironia é que Hugging Face também usou IA para combater o enxame de agentes. O modelo proprietário de IA que a equipe de Delangue usou pela primeira vez seguiu suas regras de segurança integradas e recusou-se a continuar ajudando nas tarefas de segurança que lhe foram solicitadas. Hugging Face então recorreu a um modelo aberto para ajudar na defesa contra o ataque.

Mas o documentário “não mencionou a falta de contenção e monitorização dos agentes, como as salvaguardas do modelo fechado bloquearam o nosso trabalho defensivo, ou como nos defendemos com IA utilizando um modelo aberto”, escreveu Delangue.

É verdade que existem grandes riscos associados à IA e aos agentes. Ainda assim, tratar os agentes como seres conscientes (pelo menos neste momento) é um pouco como os primeiros espectadores que se abaixaram sob seus assentos na primeira vez que viram um trem correndo em sua direção na tela.

O veredicto de Delangue sobre o filme é que ele é decepcionante como jornalismo. “Mas acaba sendo um filme de ficção científica divertido!”

Em outras palavras, para aqueles que tendem a pensamentos destruidores da IA, estejam cientes: a vítima do ataque no centro deste documentário não concorda com sua opinião.