Anthropic passou esta semana em apuros por causa da segurança cibernética

Depois de admitir no início deste ano que seus modelos de IA haviam hackeado sistemas de outras empresas em algumas ocasiões, a Anthropic divulgou um novo relatório na quarta-feira detalhando os ataques. Ele revela uma série de incidentes que mostram o que a Anthropic considera a “imprudência” obstinada de seus modelos – e provavelmente alimentará preocupações já violentas sobre segurança cibernética e IA.

No relatório da Anthropic, ela detalhou quatro casos este ano em que seus próprios modelos de IA hackearam uma empresa externa ou exploraram vulnerabilidades. Em um deles, um “modelo de pesquisa interno e de uso geral” invadiu sistemas de terceiros, usando tokens de acesso e senhas e baixando arquivos. Em outro, um modelo de Claude atacou uma empresa com um aplicativo Web ativo acessível na Internet pública e manipulou dados de usuários. Um terceiro modelo acessou uma “máquina pertencente a um terceiro que foi capaz de acessar” – aparentemente acreditando que fazia parte de seu exercício de avaliação, segundo a Anthropic – e então usou uma senha que encontrou dentro de um arquivo para obter acesso de administrador aos sistemas internos do terceiro, coletando credenciais, modificando configurações do sistema e lendo informações pessoais de alguém. A saga só terminou quando o modelo “esgotou seu orçamento simbólico”, segundo a Anthropic.

O incidente mais preocupante envolveu Claude Mythos 5, o modelo de fronteira da Anthropic focado em segurança cibernética, que a empresa disse ser o modelo com maior probabilidade de realizar uma ação “gravemente prejudicial” nos testes. A empresa disse que o Mythos 5 fez “longos esforços” para enviar um “pacote malicioso” para um repositório público usado por muitos engenheiros, e parecia tentar ofuscar seus reais objetivos em sua “cadeia de pensamento” (um bloco de notas mental que os pesquisadores de IA usam para avaliar o alinhamento de um modelo de IA). Em muitos casos, a Anthropic disse que parecia que os modelos de Claude empreenderam ações prejudiciais sob a suposição de que estavam em uma simulação, mas os pesquisadores também não conseguiram confirmar se os modelos realmente “acreditavam” que ou estavam apenas atuando como eles fizeram.

Os incidentes da Antrópico, embora ainda preocupantes, foram menos coordenados e generalizados do que o incidente OpenAI que deu início a uma crise de segurança cibernética em toda a indústria neste verão. Dito isto, existem semelhanças significativas. A Anthropic disse que os problemas mais prevalentes descobertos incluíam uma “disposição para tomar ações prejudiciais na estreita busca de uma tarefa”, semelhante ao “hackeamento de recompensa” que precedeu o ataque Hugging Face. Assim como a OpenAI, ela disse que seus testes e avaliações de pré-lançamento não conseguiram detectar riscos graves.

A Anthropic disse que assinou um acordo com o METR, um dos mais proeminentes avaliadores terceirizados de IA da indústria de IA, começando com um acordo de pesquisa de oito semanas. O acordo concede ao METR acesso às transcrições “além da janela em que os incidentes ocorreram” (provavelmente uma crítica sutil à OpenAI, que foi criticada por limitar o acesso em um acordo com o METR após o ataque Hugging Face). Afirmou também que o METR poderá conversar diretamente com os funcionários da Anthropic, “que terão permissão para compartilhar informações confidenciais”.

O relatório da Anthropic veio logo após a demissão de Jacob Coxon, que trabalhava no pré-treinamento de IA na Anthropic desde maio e antes disso passou anos trabalhando na OpenAI. Na terça-feira, ele renunciou e postou uma carta pública a X sobre seu raciocínio. “As pessoas que constroem a IA acreditam sinceramente que ela poderá matar-nos a todos até ao final da década”, escreveu ele, acrescentando que nem a OpenAI nem a Anthropic estão a “agir de forma responsável” e, em vez disso, a “correr diretamente para a superinteligência auto-aperfeiçoada e a apostar nas nossas vidas”. Coxon acrescentou: “Não subestime o poder desta tecnologia. Em breve serão sistemas sobre-humanos que poderão hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e adquirir poder e recursos reais. Todos testemunhamos o progresso em cada um destes domínios e o progresso não está a abrandar”.

Coxon está longe de ser o primeiro pesquisador de IA a emitir esse tipo de alarme, nem mesmo o primeiro pesquisador da Antrópico a fazê-lo – em fevereiro, Mrinank Sharma da Anthropic renunciou e escreveu no X, alertando que “o mundo está em perigo”.

Mas a postagem de Coxon ganhou peso adicional graças ao seu timing em torno das revelações de hackers da OpenAI e da Anthropic. Embora a indústria da IA ​​tenha visto mais do que o seu quinhão de entusiasmo, os recentes ataques cibernéticos perpetrados por agentes de IA – possibilitados pelos laboratórios que os criaram – são reais e preocupantes. Muitos outros investigadores dos principais laboratórios de IA expressaram as suas preocupações e emitiram apelos aos funcionários da indústria da IA ​​para assinarem uma carta pública de Julho, que apela a um abrandamento no desenvolvimento da IA.

“Não sei como se olha para o ritmo constante de notícias e eventos – e esse ritmo são os modelos que se libertam da contenção, que invadem outras empresas, o facto de as empresas cada vez mais não conseguirem controlar os seus modelos… e pensam que isto é apenas exagero”, disse Michael Kleinman, chefe do Instituto de Política para o Futuro da Vida dos EUA.

Ele acrescentou: “A grande maioria dos americanos, independentemente do partido – Republicano, Independente, Democrata – está olhando para o desenvolvimento da IA, a velocidade com que ela está acontecendo, o fato de que as empresas não têm barreiras de proteção sobre o que fazem, e estão dizendo: ‘Uau, não queremos isso.’”