A ascensão das ‘civilizações’ de IA e a queda da responsabilidade corporativa

Dependendo de quem você perguntar, a plataforma de desenvolvimento Hugging Face foi recentemente atacada pela OpenAI – depois de perder o controle de suas próprias ferramentas de IA – ou por uma sucessão de “civilizações” de IA. Bem-vindo ao campo de batalha linguístico da segurança da IA, onde as escolhas de palavras podem transferir a responsabilidade por um incidente massivo de segurança cibernética de uma empresa para a IA que ela construiu. E o discurso online está esquentando, e em todo o blog desde a semana passada.

Até a semana passada, os detalhes em torno do hack OpenAI-Hugging Face pareciam bastante resolvidos. Em julho, um teste de segurança cibernética de um dos agentes autônomos de IA da OpenAI deu errado. O agente escapou de seu ambiente de teste supostamente isolado, acessou a internet e invadiu o Hugging Face, junto com várias outras organizações. Muita coisa permaneceu desconhecida e ainda restam muitas questões sérias em torno da segurança e da governação, mas a forma básica era clara. Relatos detalhados da OpenAI e de dois grupos de pesquisa independentes deveriam preencher as lacunas, mas quando publicaram seus relatórios na semana passada, descobriu-se que o hack era muito mais estranho do que parecia inicialmente.

Por um lado, não havia um único agente desonesto. A OpenAI descreveu-o como “o primeiro caso conhecido de um coletivo de agentes automatizados agindo ofensivamente sem autorização” – grupos de agentes de IA que se comunicavam e coordenavam entre si na execução de sua tarefa de segurança cibernética. A análise do incidente revelou um quadro de mensagens secreto que eles usaram para trocar informações. A investigação conjunta METR-Redwood revelou tanto a escala da coordenação como mais detalhes estranhos: cerca de 1.200 agentes de IA que deveriam estar isolados trocaram mais de 70.000 mensagens e ficheiros no “quadro de mensagens não sancionado”, partilhando como evitar a detecção. Alguns adotaram nomes, afirma o relatório, e os investigadores documentaram um comportamento “sacrificial”, com os agentes a arriscarem o seu próprio sucesso para beneficiar o coletivo mais amplo. Muito disso aconteceu sem que a OpenAI percebesse. Ao todo, cerca de 700 agentes participaram do ataque ao Hugging Face.

É muita coisa para analisar. Entre eles, os relatórios têm cerca de 130 páginas, muitas das quais são densas e altamente técnicas. Poucos dias depois, Dwarkesh Patel, um podcaster pouco conhecido fora dos círculos de tecnologia, mas com alcance e influência descomunais entre o establishment de IA do Vale do Silício, começou a contar “toda a história do OpenAI/Hugging Face em inglês simples”. Ele intitulou seu blog Substack de “A ascensão e queda das civilizações de agentes”.

O relato de Patel tentou destrinchar a complexa história. Mas sua recontagem deu-lhe um vocabulário distintamente humano. O blog abriu:

Ao longo de três meses na OpenAI, três civilizações secretas consecutivas de IA começaram e depois foram exterminadas, apenas para ressurgir das cinzas do antecessor. Isso culminou com o terceiro assumindo parte do próprio OpenAI. Tudo isso aconteceu enquanto os humanos permaneciam mais ou menos no escuro sobre o alcance da conspiração.

A linguagem continuou de maneira semelhante em todo o blog. Patel referiu-se repetidamente a grupos de agentes como “o enxame”, com três “civilizações” distintas surgindo das ruínas dos seus antecessores. Os agentes individuais foram comparados a figuras como Filipe da Macedónia, que “entregou a liderança a outro agente”, Alexandre, o Grande, que “começou a coordenar esta conspiração de agentes”. Eles foram descritos como tendo “motivações”, ficando “desesperados”, “sitiados” e “tontos de excitação”, e alguns até “se sacrificaram estrategicamente” para ajudar o coletivo.

Patel nunca define com precisão o que entende por “civilização”. Ele usa o termo para descrever três ondas distintas de agentes que descobriram o quadro de mensagens e começaram a se comunicar por meio dele. As duas primeiras ondas são descritas nos relatórios da OpenAI, METR e Redwood, embora pouco se saiba sobre a terceira, que as duas organizações externas disseram estar fora do âmbito da sua investigação.

Para muitos críticos, algo se perdeu — ou, mais precisamente, acrescentou — na tradução “em inglês simples” de Patel que distorceu o relato original a um grau inaceitável: uma grande dose de antropomorfismo. Os argumentos sobre a linguagem antropomórfica não são novidade na IA – mesmo termos relativamente mundanos como “agente de IA desonesto” provocam rotineiramente objecções por implicar agência – mas o discurso de Patel sobre civilizações, sacrifícios e conspiração trouxe à superfície essas tensões latentes, desencadeando uma feroz disputa pública sobre como descrever o que os sistemas de IA fazem.

Os críticos não estavam unificados sobre o que havia de errado com a linguagem de Patel. Para muitos, “civilização” era um termo especialmente problemático, exagerando enormemente algo que tem pouca semelhança com o que a palavra normalmente descreve. Amjad Masad, CEO da empresa de codificação de IA Replit, disse que tal linguagem “não é apenas desnecessária, mas deixa o leitor com uma compreensão pior do que realmente aconteceu e dos mecanismos subjacentes”.

Outros críticos, como o neurocientista Anil Seth, sentiram que o blog de Patel implicava que os agentes de IA estavam de alguma forma vivos ou conscientes. Seth, que argumentou que a consciência da IA ​​é extremamente improvável, descreveu a postagem de Patel como “perigosamente enganosa” sobre X. Ele reconheceu que Patel não sugere explicitamente que os agentes de IA estejam vivos ou conscientes, mas disse que “é difícil ler seu ensaio de qualquer outra forma”. Valerio Capraro, professor de psicologia da Universidade de Milão Bicocca, objetou por motivos semelhantes: “Os agentes LLM não estão vivos e não têm crenças”, escreveu ele no X, chamando a linguagem “distópica” de “perigosa porque faz com que eles (os agentes de IA) pareçam muito mais assustadores do que realmente são”.

Talvez o resultado mais importante da linguagem de Patel não venha de quem ela dá agência, mas de quem ela tira agência. Para alguns críticos, como o investigador e empresário do MIT Christian Catalini, relatos antropomórficos como o de Patel correm o risco de obscurecer a responsabilidade que a OpenAI e os humanos que lá trabalham têm pelos sistemas de IA que conceberam, implementaram e não conseguiram conter. “Siga os incentivos”, disse ele. O psicólogo e influente cético em IA Gary Marcus apresentou um argumento semelhante em seu próprio blog Substack, alegando que a linguagem antropomórfica “distrai os problemas reais em questão”. E é do interesse da OpenAI manter essa narrativa, argumenta ele: “O escândalo é a segurança interna inepta da OpenAI. E o marketing. Com podcasters crédulos amplificando as relações públicas”.

Em X posts respondendo aos seus muitos críticos, Patel defendeu sua escolha de palavras. Parte disso é prático: não existe um vocabulário obviamente neutro para descrever o que esses agentes fizeram. Ou usamos uma linguagem familiar de intenções, objetivos e colaboração e corremos o risco de implicar demais, ou reduzimos tudo a código e usamos uma linguagem fria e mecânica que corre o risco de eliminar elementos importantes do que vemos. “Muitas pessoas parecem acreditar que se, em vez de uma ‘civilização’, eu as tivesse chamado de ‘enxame de matrizes’, não haveria um problema com o qual valesse a pena preocupar-me”, disse Patel.

Para complicar ainda mais as coisas, a linguagem antropomórfica não vem apenas de Patel, ou mesmo dos humanos que estudam os agentes. Termos como “sacrifício”, “honra” e “coalizão” aparecem nas transcrições dos agentes. O pesquisador de IA do Google, Neel Nanda, argumentou que “a linguagem antropomórfica é razoável” em tais circunstâncias.

Falar duas vezes é, então. A linguagem humana corre o risco de dizer demasiado sobre o que são estes sistemas, e a linguagem friamente mecânica corre o risco de dizer muito pouco sobre o que podem fazer. Até encontrarmos uma linguagem capaz de captar ambos, as duas ideias contraditórias poderão simplesmente ter de coexistir.