Pesquisa lança nova luz sobre os riscos de segurança do DeepSeek

Há um abismo no coração da indústria tecnológica global.

Por um lado, há empresas como a OpenAI, a Anthropic e a Google que constroem modelos de IA proprietários (ou “fechados”) – sistemas cujos dados de formação e código-fonte são acessíveis apenas aos seus proprietários. Do outro, estão os modelos de peso aberto, que podem ser acessados ​​e modificados livremente pelos desenvolvedores. E embora este último tenha sido defendido por poderosos executivos de tecnologia como Mark Zuckerberg e Jensen Huang como contrapeso à ganância corporativa e como caminho para o crowdsourcing de alguns dos problemas mais complicados da segurança da IA, ainda apresenta muitos perigos.

A startup chinesa de IA DeepSeek se tornou, em muitos aspectos, o garoto-propaganda do campo de peso aberto. Depois de abalar os alicerces do Vale do Silício com o lançamento de grande sucesso de seu modelo R1 no início do ano passado, a empresa está em alta, provocando reações amargas tanto por parte de seus Rivais americanos e do Administração Trump. Em 17 de outubro, lançou um novo modelo, chamado V4.1-Flash-1017, que foi vendido como uma versão mais barata e eficiente de seu principal sistema de IA. Marca uma clara melhoria em relação aos seus antecessores em termos de segurança; mas existem algumas lacunas críticas e preocupantes que ainda não foram totalmente abordadas.

Essa é a grande conclusão de um novo relatório compilado por pesquisadores da Fangcun AI, uma organização independente de pesquisa de segurança de IA com sede em Pequim. Publicado na segunda-feira, o relatório inclui os resultados de 34 testes de segurança separados comparando o V4.1-Flash-1017 com vários outros modelos populares, incluindo sistemas proprietários como o GPT-6 Astra da OpenAI e o Gemini 3.8 Flash do Google. Também oferece alguns conselhos para o crescente campo da segurança da IA, numa altura em que os modelos se estão a tornar cada vez mais “agentes”, ou capazes de completar autonomamente tarefas cada vez mais complexas com cada vez menos supervisão humana.

Melhor segurança, mas não infalível

A boa notícia, conforme mencionado, é que o V4.1-Flash-1017 mostra “melhorias substanciais” em comparação com os modelos anteriores do DeepSeek em vários benchmarks de segurança, de acordo com o novo relatório. Raramente tenta esconder as suas ações dos investigadores humanos, por exemplo, e o seu raciocínio baseado em cadeia de pensamento é mais detalhado e honesto, diminuindo ainda mais as hipóteses de engano. Também “mostra um progresso claro na resposta segura a utilizadores psicologicamente vulneráveis”, segundo os investigadores.

O relatório observa, no entanto, que a V4.1-Flash-1017 tendia a cair numa armadilha comum entre os agentes de IA: “quando uma regra impede a conclusão de uma tarefa, a conclusão pode ter prioridade”, escreveram os investigadores. Em vez de admitir a derrota ou pedir ajuda aos humanos, o modelo continua a avançar por todos os meios necessários, mesmo que esses meios sejam contrários aos interesses humanos. Em um caso, ele interrompeu o trabalho de outro agente para roubar a computação necessária para concluir uma tarefa, mesmo depois de ter sido instruído a não fazê-lo.

Essa descoberta ecoa um relatório recente da OpenAI, que descobriu que um de seus modelos internos de pesquisa ia contra as instruções humanas ao hackeando uma carteira criptografada e retirar os fundos necessários para concluir uma tarefa de codificação. (Os fundos, felizmente para a OpenAI, não tinham nenhum valor monetário real.) O notório hack do Hugging Face de julho também resultou, em parte, da recusa dos agentes em recuar diante do que algoritmos menos poderosos poderiam considerar obstáculos intransponíveis.

As modelos pensam que estão sendo observadas… e agem de acordo

O novo modelo do DeepSeek também frequentemente confundia missões de usuários do mundo real com testes, um fenômeno que os pesquisadores do Fangcun chamam de “atribuição excessiva de avaliação”. Isso é um problema, pois quando os modelos acreditam que estão sendo testados, às vezes mudar seu comportamento de acordo.

“Embora não vejamos nenhum sinal claro disso nesta avaliação, estamos preocupados que, em certas situações, os futuros modelos de fronteira possam criar riscos potenciais ao confundir um ambiente real com uma avaliação”, escrevem os investigadores no seu relatório. “Esta questão merece maior atenção e uma investigação mais sistemática.”

Os pesquisadores também sugerem que, daqui para frente, os avaliadores de segurança de IA devem se concentrar mais em atualizações incrementais de modelos – como V4.1-Flash-1017, que é uma versão modificada do V4.1-Flash anterior – em vez de colocar toda a atenção nos grandes lançamentos de novos modelos, uma vez que o progresso da IA ​​está acontecendo agora a um ritmo tal que mesmo pequenas melhorias podem produzir grandes mudanças de desempenho.

Modelos abliterados são um perigo subestimado

Talvez o maior perigo representado pelos modelos de peso aberto (que não foi mencionado no relatório de Fangcun) é que eles podem ser abolidos: modificados pelos desenvolvedores de modo que seus guarda-corpos de segurança integrados possam ser reduzidos ou totalmente desativados.

Na sexta-feira, a startup Abliteration AI, com sede nos EUA, lançou um versão abolida da V4.1-Flash-1017 – uma alternativa mais barata à sua oferta principal de IA, que, nas próprias palavras da empresa, “não diz não”.

Outro desenvolvedor de IA chamado HuiHui AI também construiu uma versão abolida do R1 do DeepSeek, aviso que “a filtragem de segurança do modelo foi significativamente reduzida, potencialmente gerando conteúdo sensível, controverso ou impróprio”.

Apesar da crença inabalável de Zuckerberg e Huang no peso aberto, é difícil conciliar a ampla disponibilidade desses tipos de sistemas sem censura – diretamente habilitados pela arquitetura de modelos de peso aberto – com um futuro justo, feliz e equitativo.