Anthropic está trabalhando em um sistema para provar a identidade dos modelos de IA

A Anthropic está trabalhando em um sistema de código aberto para verificar qual modelo de IA produziu um determinado resultado, de acordo com uma postagem de blog publicada na terça-feira. O sistema, chamado FlashProve, foi construído para fornecer o que os pesquisadores chamam de “inferência comprovável” – uma prova criptográfica, essencialmente uma garantia matemática, de que um determinado resultado veio de um modelo específico. O objetivo é permitir que os usuários confirmem se a resposta que receberam realmente veio do modelo que eles acham que estão usando.

Semelhante às assinaturas criptográficas de e-mail que permitem aos destinatários confirmar que uma mensagem realmente veio do remetente alegado, o FlashProve seria robusto contra impostores que tentam disfarçar um modelo como outro, mesmo quando o impostor é o laboratório que construiu e administra o modelo. Em particular, os investigadores observam que o sistema poderia ser usado para evitar que uma empresa de IA trocasse secretamente por um modelo mais barato para reduzir custos, ou por um modelo mais caro para inflacionar os seus resultados de desempenho.

FlashProve também pode ser usado para verificar afirmações de terceiros de que uma tarefa específica foi realizada por um modelo avançado. “Um desenvolvedor pode alegar que sua biblioteca de software foi verificada em busca de vulnerabilidades por um modelo de segurança cibernética de ponta, ou uma empresa pode alegar que seu plano de negócios recebeu luz verde por um modelo apropriado”, escrevem os pesquisadores. “Como um usuário pode verificar essas afirmações?”

Para funcionar, o sistema exige que os laboratórios de IA publiquem uma “impressão digital” de cada modelo lançado, que pode posteriormente ser comparada a resultados específicos e verificada criptograficamente. Crucialmente, as impressões digitais não revelam os pesos de um modelo, os números internos que definem como ele se comporta e quais fabricantes de modelos fechados como Anthropic e OpenAI mantêm em sigilo. Isso significa que os laboratórios poderiam publicar as impressões digitais sem abrir mão de seu ativo mais valioso, permitindo que o sistema também funcionasse com modelos comerciais. O sistema também foi projetado para ser leve, de forma que a verificação possa ser realizada em um dispositivo local.

Como parte do anúncio, os pesquisadores divulgaram especificações técnicas detalhadas e código funcional para vários elementos do sistema, que estão disponíveis publicamente sob uma licença de código aberto no GitHub. As pesquisas no sistema estão em andamento e não há planos de implantá-lo na Anthropic ou em qualquer outro laboratório.

“Este post de pesquisa tem como objetivo compartilhar o progresso intermediário, e não uma agenda de pesquisa concluída”, explicam os pesquisadores no post de anúncio. “Estamos compartilhando isso explicitamente com o objetivo de que outros vejam o que fizemos, aproveitem e melhorem.”