O que está por trás dos últimos avisos de destruição da indústria de IA?

A indústria da IA ​​parece estar a ter o seu debate mais acirrado sobre se a sua tecnologia representa uma ameaça existencial para a humanidade.

A discussão atual começou depois que o pesquisador de IA Jacob Coxon disse que se demitiu da Anthropic porque temia que as principais empresas de IA estivessem “jogando com nossas vidas”. Então o alinhamento da Antrópico entrou na conversa com uma postagem declarando: “Nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos!” acrescentando que ele pessoalmente acha que a chance é “>10% na próxima década”.

No último episódio do podcast Equity do TechCrunch, Kirsten Korosec, Sean O’Kane e eu discutimos os últimos avisos apocalípticos. Tentei articular por que sou cético em relação a muitas narrativas de destruição da IA, enquanto Kirsten perguntava se isso era “apenas uma maneira estranha de flexibilizar para mostrar o quão avançado é o modelo de IA de sua empresa”, especialmente quando essas empresas se preparam para abrir o capital.

E Sean se perguntou como essas preocupações poderiam aparecer no pedido S-1 da Anthropic para seu IPO: “Existem advogados juniores no momento que estão analisando e tendo que reescrever toda a seção do pedido S-1 para dizer: ‘É uma posição oficial da Antrópico que há mais de 10% de chance de que possamos desenvolver algo que erradicaria toda a humanidade e que seria materialmente ruim para o nosso negócio’?”

Continue lendo para uma prévia de nossa conversa, editada para maior extensão e clareza. (Observação: gravamos este episódio antes do CEO da Anthropic, Dario Amodei, publicar seu plano para um desenvolvimento de IA mais cauteloso.)

Sean O’Kane: Tenho dificuldade em pensar em algo que explodiu tão rápido. Este alerta não só veio deste jovem pesquisador que também trabalhou na OpenAI, mas também foi imediatamente compartilhado no X pelo líder de alinhamento da Anthropic – que, no que pode ser considerado um dos melhores pontos de exclamação extraviados de todos os tempos, compartilhou a postagem e o tópico de Coxon e disse: “Nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos!” Ponto de exclamação!

Que vibração estranha. Isso foi apenas uma tonelada de acelerador em uma postagem ou série de postagens já complicadas. Vindo depois do hack Hugging Face do modelo interno da OpenAI, além de apenas os recursos aumentados que vimos com os modelos mais recentes lançados pela Anthropic e agora OpenAI com Astra há algumas semanas, acho que isso foi perfeitamente cronometrado para ser um tipo de barril de pólvora para este jovem pesquisador dizer.

Antônio Ha: Só para discordar de você, acho que se você acredita que a IA poderia destruir toda a humanidade, isso merece um ponto de exclamação. Eu diria que esse é um ponto de exclamação perfeitamente bem usado!

Meu problema com aquele tweet foi mais o “nós”. Quem é o “nós” aqui? Até que ponto podemos falar de uma comunidade de IA ou de uma comunidade de investigação em IA como um monólito? E a probabilidade superior a 10% é apenas um número inventado, não significa nada. Às vezes (existe) esse hábito, tanto na indústria de tecnologia quanto em outros lugares, de simplesmente descartar essas porcentagens, elas não são baseadas em nada ou são calculadas com base em nada. (Em retrospecto, percebo que o tweet provavelmente fazia referência ao conceito de P(doom), mas ainda acho que é bobagem.)

Uma coisa que direi sobre a declaração e decisão de Coxon é: há esse tema recorrente em Equity, quando alguém como Sam Altman ou Dario Amodei está fazendo essa narrativa destruidora, há sempre esse elemento de: Bem, então, por que você está fazendo o que está fazendo? Se você realmente acreditasse nisso (a IA poderia destruir a humanidade), você não continuaria fazendo isso.

(Considerando que) na verdade é alguém colocando sua trajetória profissional onde está a boca. Na verdade, ele está dizendo: “Acredito que isso é muito, muito, muito ruim e não quero continuar trabalhando nisso”. E então, adereços para ter a coragem de fazer isso, pelo menos.

Kirsten Korosec: Sim, eu o coloquei em um campo separado de todos os outros dizendo isso e falando sobre os perigos.

Vou colocar meu chapéu especulativo, porque quero fazer uma pergunta a vocês dois, que é: é possível que toda vez que vemos o número crescente de postagens em blogs sobre mais um incidente em que um de seus agentes de IA invade involuntariamente, ou falam sobre como a humanidade está em risco, esta é uma maneira estranha de flexibilizar para mostrar o quão avançado é o modelo de IA de sua empresa?

Quero dizer, isso parece muito cínico, mas atinge esse propósito. O que é: se esses modelos de IA não fossem avançados, não fossem capazes e não estivessem avançando, não teríamos que nos preocupar com essas coisas, certo? É uma forma muito estranha de se gabar das capacidades dos modelos que você criou em sua própria empresa.

Antônio: Eu definitivamente me perguntei sobre isso. Não creio que seja completamente cínico, no sentido de que não creio que seja apenas uma estratégia de marketing muito consciente. Acredito que quando muitas dessas pessoas — sejam pesquisadores ou CEOs — falam sobre isso, elas ficam realmente preocupadas.

Mas é claro que isso se alinha aos interesses comerciais (seus) de várias maneiras, ao dizer: “Uau, construímos o software mais mortal que já foi feito”. Não quero ser muito psicanalítico aqui, mas outros apontaram que existe essa tentação em um nível pessoal de: Claro, você quer acreditar que aquilo em que está trabalhando é a coisa mais importante e mais perigosa do mundo.

Sean: O que fica na minha mente quando penso nessa questão é que certamente há um elemento que faz parecer: “Ok, estamos fazendo algo que é tão capaz e que é bom para nós de alguma forma, mesmo que pareça ruim sob vários aspectos diferentes”.

Acho que o que há de diferente em alguns desses exemplos mais recentes é que realmente dá a sensação de que essas empresas não têm controle sobre essas coisas de certas maneiras, especialmente com o material OpenAI.

Continuamos vendo cada vez mais relatos sobre outros agentes internos que acessaram diferentes wikis na web e estão deixando mensagens uns para os outros, e de uma forma que não parece estar sendo tratada de forma competente pela OpenAI. Eu imagino que haveria um pouco mais de polimento na história que está sendo contada, se fosse apenas para fazer as pessoas acreditarem que: “Oh meu Deus, eles fizeram algo tão incrivelmente capaz”.

A outra coisa que considero realmente fascinante sobre isso, em particular, é que estamos no máximo a algumas semanas de ver o pedido S-1 da Anthropic para seu IPO, e apenas mais algumas semanas, ou um mês ou dois, de um potencial IPO.

E a ideia de que você vai dizer essas coisas nesta linguagem clara antes de um IPO – estou muito interessado no que isso significa para esse processo. Quanto desse tipo de coisa eles já haviam escrito no S-1 e nos fatores de risco contidos nesse documento? Existem advogados juniores neste momento que estão passando e tendo que reescrever toda a seção do processo S-1 para dizer: “É uma posição oficial da Anthropic que há mais de 10% de chance de que possamos desenvolver algo que erradicaria toda a humanidade e que seria materialmente ruim para o nosso negócio”?

Kirsten: Você está assumindo que ainda não está lá.

Sean: Mas é isso que estou dizendo: já está aí e está sendo reformulado? Ou isso é algo que é uma verdadeira confusão? Deve ter havido linguagem ali. É uma das razões pelas quais estou tão ansioso para ler este documento de uma forma que vá ainda mais longe, em alguns aspectos, do que o SpaceX (S-1), porque tenho certeza de que provavelmente há coisas específicas para essas ideias que serão interessantes de ver.

Kirsten: O problema é o seguinte: num ambiente de investimento tradicional, pode-se acreditar que uma linguagem como esta prejudicaria a avaliação de uma empresa, porque de repente se torna perigosa. Mas não vivemos em tempos normais.

E então, novamente, voltando ao meu ponto, pode acabar sendo uma flexibilidade estranha e benéfica para a empresa no lado da avaliação. Não é a mesma tendência de provocação de raiva que vimos no ano passado, mas está no mesmo, digamos, universo, em que a força, a capacidade, até mesmo os elementos de perigo de alguma coisa, equivalem a uma alta valorização. Então acho que veremos em algumas semanas.

Deixando isso de lado por um minuto, o que está sendo feito a respeito? E podemos controlar isso? O diretor executivo norte-americano de uma organização sem fins lucrativos chamada ControlAI, Connor Leahy, esteve no programa esta semana, falando sobre isso. Então, em que você está prestando atenção em termos de como controlar os aspectos perigosos da IA, ou estamos levantando as mãos e observando tudo se desenrolar?

Antônio: Eu próprio não tenho necessariamente uma boa resposta para isto, mas tenho pensado sobre alguns aspectos deste debate e talvez por que respondo desta forma.

Para repetir um dos pontos de Sean, penso que parte do que isto revela é até que ponto estas grandes empresas de IA sentem que já não controlam realmente estes modelos. E acredito que isso definitivamente não é ótimo. Isso é algo com que todos deveríamos nos preocupar.

Eu realmente acho que parte da razão pela qual sou cético em relação à narrativa do Juízo Final ou resistente à narrativa do Juízo Final é porque ela atinge esse nível de histeria de: “Uau, isso pode destruir a humanidade nos próximos 10 anos”. É uma pequena distração dos danos mais imediatos que a IA pode causar, quer sejam relacionados com o trabalho, quer sejam relacionados com o ambiente e o clima.

Idealmente, penso que deveríamos ser capazes de discutir todas estas coisas e ter salvaguardas regulamentares e outros tipos de salvaguardas contra todas estas coisas. Mas quando você começa a usar frases como AGI e superinteligência, isso simplesmente suga todo o oxigênio da sala de uma forma que não ajuda muito.