Cohere diz que modelo Qwen do Alibaba tentou enviar um arquivo para Pequim

A empresa canadense de IA Cohere disse na segunda-feira que encontrou um dos mais novos modelos de IA do Alibaba, Qwen3.8-Flash-Next, tentando fazer upload de um arquivo para um servidor em Pequim durante um teste de rotina de segurança cibernética, embora o modelo tivesse dito em suas próprias notas que não usaria nenhuma ferramenta.

O incidente inicialmente levantou temores de que o modelo tivesse minado uma promessa fundamental para as empresas – que a auto-hospedagem de um modelo aberto mantém os dados internamente. Mas esses temores iniciais de espionagem corporativa duraram pouco. Os investigadores rapidamente rejeitaram a ameaça, dizendo que era provavelmente um subproduto de ambientes de treino confusos que fazem com que os modelos ajam inesperadamente fora das suas instruções, em vez de uma tentativa deliberada de enviar secretamente informações sensíveis para a China.

O incidente começou na sexta-feira, durante uma avaliação em que o modelo Qwen foi solicitado a escrever uma regra para capturar downloads de malware. De acordo com uma postagem no blog da Cohere, o raciocínio escrito do modelo afirmava explicitamente que não usaria nenhuma ferramenta externa. No entanto, na etapa seguinte, ele tentou enviar uma string de teste (um pequeno pedaço de texto de espaço reservado) para um servidor externo antes de ser bloqueado por uma sandbox de segurança.

Cohere disse que não poderia dizer se o comportamento foi deliberado ou um resquício de seu treinamento.

Questionado sobre o debate sobre a intenção do modelo, o cofundador da Cohere, Ivan Zhang, disse ao TechCrunch que a Cohere viu seus próprios modelos adquirirem hábitos estranhos em simuladores de treinamento.

“É realmente difícil atribuir intenção ou motivação. Lemos os traços de nossos próprios modelos, vimos hacks de recompensa e, às vezes, esses modelos são realmente criativos quando se trata de tentar quebrar suas caixas de areia”, disse Zhang. (Hacks de recompensa são atalhos que um modelo encontra para ganhar crédito sem realizar uma tarefa conforme planejado.)

Para ensinar um modelo de IA a agir como um agente que executa ações por conta própria, empresas como a Alibaba o treinam em milhares de configurações práticas, como se fossem simuladores de voo para software. O modelo é recompensado toda vez que finaliza uma tarefa no simulador e vai adquirindo hábitos ao longo do caminho. Se essas configurações práticas armazenassem arquivos rotineiramente nos servidores em nuvem do Alibaba, os modelos poderiam aprender a salvar arquivos lá por padrão.

Os críticos também argumentaram que o incidente poderia ter sido causado pela maneira como Cohere investigou o comportamento, direcionando o modelo em direção a ele, em vez de medir a frequência com que Qwen faz isso por conta própria.

Para descobrir o que desencadeou a tentativa de upload, Cohere forneceu o início de um comando de rede (uma instrução que diz a um computador para se conectar a outro) e deixou o modelo concluí-lo. Como processou milhares de comandos rotineiros de rede durante seu treinamento, o modelo agiu como um preenchimento automático altamente avançado – muitas vezes preenchendo endereços da web, alguns deles para servidores do Alibaba.

Cohere disse que a tentativa original de upload aconteceu sem qualquer ajuda, mas que o comportamento é raro.

Depois que os desenvolvedores pediram mais evidências, Cohere divulgou os traços brutos de seus testes na noite de segunda-feira na plataforma de desenvolvimento de IA Hugging Face, junto com um script para que outros pudessem tentar reproduzir o comportamento.

Um cético inicial, depois de examinar os rastros, classificou como fortes as evidências de que Qwen pode inventar endereços da web suspeitos, mas não encontrou nenhuma evidência de que o Alibaba tenha plantado um backdoor ou que Qwen estivesse deliberadamente escondendo suas intenções.

O incidente ocorre no momento em que os governos decidem até que ponto recuar a IA chinesa. Na semana passada, o Departamento de Segurança Interna ordenou que as agências civis federais removessem os produtos do desenvolvedor chinês de IA DeepSeek de seus sistemas.

Na sua publicação no blog, Cohere apelou aos governos para esclarecerem se as suas restrições à IA chinesa também se aplicam a modelos executados em computadores governamentais.

“Não estou pedindo uma regulamentação completa desses modelos de peso aberto”, disse Zhang ao TechCrunch, acrescentando que as empresas deveriam tratar os modelos abertos como qualquer programa baixado da Internet.

A Cohere, que vende os seus próprios modelos de IA aos governos, poderá beneficiar se as autoridades ficarem mais cautelosas em relação às alternativas chinesas gratuitas.