Cientistas capturados antrópicos usando Claude para promover pesquisas com armas biológicas
A empresa produziu uma extensa coleção de estudos de caso que cobrem as formas como seus atuais modelos de IA foram mal utilizados.
A Anthropic sinalizou e deteve vários cientistas que usavam seus modelos de IA para criar potenciais armas biológicas, de acordo com um novo relatório que a empresa compartilhou na quinta-feira. O “uso indevido biológico” é apenas uma amostra do uso preocupante da IA que o relatório documenta, mas é de importância crescente porque modelos mais recentes como o Fable 5 são cada vez mais bons em ajudar na pesquisa científica.
O relatório da empresa inclui cinco estudos de caso de modelos da Antrópico usados para desenvolver armas biológicas, as medidas de segurança que chamaram a atenção da Antrópico para o uso indevido e como ela respondeu. Detectar possíveis usos indevidos é complicado, como enfatizou a empresa ao O jornal New York Timesporque a investigação de uma nova vacina pode assemelhar-se muito à criação de uma arma biológica. Em todos os casos, a empresa afirma que errou ao ser excessivamente cautelosa devido às possíveis consequências.
“Você não está vendo alguém no estilo de história em quadrinhos dizer: ‘Ei, quero construir uma arma biológica para matar todo mundo’”, disse Jacob Klein, chefe de inteligência de ameaças da Anthropic. O jornal New York Times. “É uma situação incrivelmente sutil.”
Num estudo de caso de maio, a Anthropic afirma que o seu “classificador de segurança biológica” sinalizou um pedido para que Claude fosse autor de uma subvenção para investigação de ganho de função sobre o vírus chikungunya. O vírus não tem tratamento licenciado e pode causar sintomas debilitantes durante semanas ou meses, afirma a empresa. A investigação de ganho de função explora métodos para alterar geneticamente um organismo e, no caso deste vírus específico, a subvenção propôs aumentar a sua transmissibilidade e capacidade de escapar à resposta imunitária. A combinação parece perigosa, e a Anthropic diz que o fato de a pesquisa proposta ser afiliada a um instituto de pesquisa militar a tornou ainda mais questionável.
A empresa teve uma questão semelhante com a pesquisa de ganho de função sobre a gripe aviária e um caso separado de um pesquisador que usou Claude para desenvolver um atlas de peptídeos de toxinas de veneno e “um pipeline generativo que otimizou as características da toxina”. O relatório completo também inclui estudos de caso sobre os modelos da Anthropic sendo usados como ferramenta de vigilância e para criar explorações de software, propaganda e sistemas de armas.
De acordo com a empresa, qualquer pessoa que usasse indevidamente os modelos Claude ou Anthropic teve sua conta banida, e as descobertas da investigação estão sendo usadas para melhorar ainda mais as salvaguardas do modelo e evitar futuros usos indevidos. Dada a natureza complicada do uso indevido de produtos biológicos, a Anthropic também não nomeia os indivíduos ou instituições que sua investigação está ligada ao desenvolvimento de possíveis armas biológicas. “Os indivíduos implicados nestes estudos de caso são cientistas ativos”, diz Anthropic. “Não afirmamos que eles pretendiam causar danos, e identificá-los ou a seus laboratórios poderia expô-los a danos”.
