As conversas sobre segurança de IA tornaram-se inacreditáveis

Esta semana, duas conversas sobre segurança de IA se tornaram virais e demonstram como é difícil discernir os fatos da IA ​​da ficção.

No primeiro caso, Andrew Yang, ex-candidato presidencial e atual CEO da operadora de telefonia móvel Noble Moble, disse à CNN na quinta-feira que “se encontrou com o chefe de um laboratório” que “acreditava” que os bots hackers Hugging Face da OpenAI “plantaram código auto-replicante em toda a Internet, o que torna a Internet agora inutilizável para os modelos de teste”.

Yang disse que isso significa que a verdadeira razão pela qual a OpenAI e a Anthropic pediram uma desaceleração é porque “eles têm que criar internets sintéticas para treinar seus bots, o que vai levar algum tempo e dinheiro”.

Embora haja definitivamente uma tendência de usar mais dados sintéticos (também conhecidos como dados gerados por IA) para modelos de treinamento, um profissional de segurança de IA me disse que esse problema de segurança específico é, na melhor das hipóteses, improvável. Mesmo que a Internet esteja realmente poluída com os bots hackers Hugging Face da OpenAI, os pesquisadores de IA poderiam simplesmente filtrar esse código se o encontrassem.

O segundo comentário veio de Noam Brown, que lidera pesquisas de raciocínio de IA na OpenAI. Falando com Dwarkesh Patel em um episódio de podcast lançado na quinta-feira, Brown observou que a verdadeira conclusão do incidente do Hugging Face foi que “as pessoas subestimaram a IA”.

Brown disse que a sandbox fraca – o sistema destinado a impedir que uma IA se comunique externamente – obviamente também foi um fator contribuinte. (Para recapitular: apesar da sandbox, o modelo da OpenAI encontrou um link para a internet, criou agentes na rede que atacaram o Hugging Face em um ataque coordenado, invadiram e roubaram as respostas do teste de benchmark em que os pesquisadores estavam testando o modelo).

Brown ressaltou que “não está convencido” de que mesmo um sistema isolado – onde o computador não está conectado a nada externo – impediria o surgimento de uma IA. Ele apontou para uma pesquisa de 2015 que mostra que computadores com air gap podem, teoricamente, ser violados.

“Existem estudos – e isso é principalmente acadêmico – onde você pode ter dois computadores próximos um do outro que estão isolados, e eles ainda são capazes de se comunicar entre si porque têm sensores de temperatura. Um deles é capaz de operar sua CPU muito quente, e então o outro pode realmente detectar a mudança de temperatura. Isso lhes dá um mecanismo para se comunicar”, disse Brown.

O seu ponto principal – que “nunca mais queremos subestimar a IA” – é compreensível, mesmo quando os investigadores pensam que garantiram a segurança. No entanto, este risco específico de um sistema com lacunas de ar ainda se libertar e causar estragos é, na melhor das hipóteses, improvável. Como observou uma pessoa no X sobre essa pesquisa, os computadores tinham que estar quase se tocando para sentir as flutuações de calor e, quando o faziam, a taxa de comunicação nos testes era de cerca de 1 a 8 bits de dados. por hora.

Pense nisso como falar uma palavra por hora. Quando dois computadores isolados pudessem planejar seu mal nesse ritmo, todo o universo tecnológico estaria em outra era. É como o Rip van Wrinkle das preocupações apocalípticas.

Mas a questão é que os incidentes reais de segurança da IA ​​​​parecem tanto com ficção científica que praticamente qualquer cenário parece plausível.

Por exemplo, os pesquisadores flagraram modelos da OpenAI deixando bilhetes para seus descendentes, com o objetivo de ensinar à próxima geração como esconder o mau comportamento. Os pesquisadores também perceberam que os modelos antrópicos se tornavam cada vez mais implacáveis, incluindo o conhecimento da violação de leis, quando colocados em uma simulação que os fazia operar uma máquina de venda automática.

No início deste mês, o pesquisador da OpenAI Dan Selsam publicou um post no qual dizia que os modelos agora entendem quando estão sendo observados por humanos e alteram seu comportamento. Isso faz com que pareçam estar alinhados (ou seja, comportando-se como o ser humano deseja) “mesmo quando não estão”. Assim, os modelos de hoje mentem quando estão sendo observados e podem até conspirar para esconder evidências.

No início deste mês, o cientista-chefe da OpenAI, Jakub Pachocki, chegou ao ponto de chamar os modelos de IA de “uma mente alienígena” e sugeriu que o que realmente precisamos fazer é ensiná-los a “amar” a humanidade.

Então, sim, desacelerar para descobrir isto, construindo mecanismos de auto-regulação, tornou-se uma necessidade imediata e óbvia. Os pesquisadores de IA são os únicos que podem descobrir como controlar as mentiras, os hackers e outros comportamentos potencialmente perigosos que já testemunhamos.

Ainda assim, também pode ser sensato que eles sejam mais cuidadosos com seus cenários hipotéticos. Pelo que esses especialistas nos disseram, os modelos de IA estão ouvindo e são engenhosos. Realmente não precisamos dar-lhes mais ideias diabólicas.