Antrópico afirma que interrompeu pesquisas suspeitas de armas biológicas conduzidas com Claude
Um novo relatório da Anthropic, a empresa de IA que talvez mais se posicionou como a consciência da indústria, afirma que a empresa teve de frustrar vários esquemas potenciais ao longo do ano passado por cientistas que pretendiam usar a sua IA Claude para se envolverem na investigação de armas biológicas.
A equipe de Inteligência de Ameaças da empresa detalhou cinco estudos de caso sobre o “uso biológico indevido” de Claude no relatório – incluindo pesquisas de ganho de função que tornariam a doença transmitida pelo mosquito chikungunya mais perigosa e um esquema para catalogar compostos de veneno de animais”. A equipe da Anthropic observou que muitos desses casos eram ambíguos, atormentados (como tantas políticas de guerra biológica têm sido) por problemas de “uso duplo”, nos quais projetos destinados a proteger o público contra armas biológicas podem muitas vezes ser facilmente invertidos em fabricação biológica. próprias armas.
A empresa disse que espera que o seu relatório “desencadeie uma conversa dentro da indústria da IA, e com os governos, sobre os riscos biológicos emergentes e a melhor forma de os combater”.
O antigo funcionário do Pentágono Andrew Weber – que serviu durante mais de cinco anos como secretário adjunto da defesa para programas de defesa nuclear, química e biológica – reviu o relatório antes da sua publicação na quinta-feira no The New York Times.
Weber, agora no Conselho de Riscos Estratégicos, disse ao Times que as descobertas da empresa eram “exemplos arrepiantes de desenvolvedores de armas biológicas patrocinados pelo Estado que exploram as capacidades de rápido avanço” dos modelos mais avançados do setor de IA.
Uma fábula de advertência
A equipe da Anthropic observou que os riscos representados pela pesquisa de guerra biológica conduzida com Claude surgiram principalmente com lançamentos recentes, “mais notavelmente Claude Fable 5”. Para esse fim, a empresa tem trabalhado para fortalecer a capacidade do Fable 5 de reconhecer quando atores de má-fé estão tentando copiar suas capacidades por meio de “destilação”, uma técnica igualmente espinhosa de “uso duplo”, em que o produto do trabalho de uma IA de “professor” mais capaz é extraído para treinar uma IA de “aluno” menor.
A Anthropic disse no relatório que frustrou ataques de destilação ilícita contra Claude de sete laboratórios baseados na China desde que tornou o assunto público pela primeira vez em fevereiro. Não está claro se algum desses ataques de destilação se sobrepôs aos estudos de caso de armas biológicas, porque a empresa optou por não nomear os responsáveis.
E, em alguns casos, muitos destes investigadores biológicos estavam a trabalhar arduamente para evitar a identificação. O relatório da Anthropic observou que as partes que tentavam criar uma estirpe mais poderosa e mortal do vírus chikungunya tinham “canalizado o tráfego através da infra-estrutura dos EUA para escapar aos nossos bloqueios regionais, e usado um serviço de retenção zero de dados (ZDR) para ocultar conteúdo”.
Mas o que mais alarmou a empresa neste caso de chikungunya foi que as perguntas feitas a Claude procuravam ostensivamente ajuda na elaboração de um pedido de subvenção para investigação que o utilizador evidentemente pretendia realizar num instituto militar. A “combinação de conteúdo e associação institucional” era tão preocupante que a Anthropic disse ter conduzido outra investigação interna, mesmo depois de descobrir que Claude havia rejeitado as solicitações do usuário ou dos usuários.
Esquemas venenosos
O estudo de caso da Antrópico envolvendo os peptídeos do veneno veio de um usuário que aparentemente estava tentando construir um atlas dessas moléculas sinalizadoras conforme aparecem nas toxinas do veneno produzidas por animais na natureza. A equipe de Threat Intelligence observou que muitas pesquisas sobre venenos têm aplicações benignas – incluindo tratamentos para enxaquecas e alívio da dor oncológica.
O que os alarmou na pesquisa desse usuário de Claude, porém, foi que, apesar de seu suposto propósito de identificar potencialmente novos analgésicos e antidepressivos, o pesquisador pediu ajuda para construir um atlas que também catalogasse peptídeos de veneno capazes de induzir paralisia.
“(Ele) poderia, portanto, ser usado para gerar novos compostos terapêuticos ou prejudiciais”, observou a equipe.
O chefe de inteligência de ameaças da Anthropic, Jacob Klein, disse ao Times que a sutileza dessas perguntas arriscadas era um dos desafios inerentes a garantir que as ferramentas de IA da empresa fossem usadas com responsabilidade: “Você não está vendo alguém no estilo de história em quadrinhos dizer: ‘Ei, eu quero construir uma arma biológica para matar todo mundo’”, disse ele.
