O primeiro avaliador incorporado da Anthropic é… Accenture?

Os planos de Dario Amodei de colocar avaliadores de segurança terceirizados em laboratórios de IA estão tomando forma: a Anthropic disse que a equipe da gigante de consultoria de tecnologia Accenture começará a trabalhar dentro da empresa para examinar seus modelos e funcionários.

Em uma postagem no blog, a Anthropic disse que a Faculdade, uma empresa adquirida pela Accenture em janeiro para atuar como sua divisão de IA, começará a “avaliar e formar equipes, conduzir avaliações de alinhamento e testar salvaguardas de modelos”. Ambas as empresas esperam investir pelo menos US$ 1 bilhão no projeto nos próximos cinco anos.

A escolha da Accenture surpreendeu muitos observadores de IA – e os mercados, onde as ações da empresa de consultoria subiram 8% após o expediente. A discussão sobre avaliadores incorporados que surgiu da postagem do blog de Amodei concentrou-se em organizações de pesquisa de segurança de IA como METR, Redwood Research e Apollo Research. Isso é particularmente verdade na Anthropic, que coloca a segurança e o alinhamento da IA ​​no centro de sua missão.

A Anthropic disse que mais avaliadores serão anunciados nas próximas semanas e que está conversando com o METR e outras organizações sem fins lucrativos sobre como “pilotar elementos de avaliação incorporada usando seu próprio financiamento”.

Embora a Accenture não seja conhecida por seu trabalho na vanguarda da pesquisa de aprendizagem profunda, a Anthropic apontou a experiência prática da empresa na implantação de IA para grandes corporações e agências governamentais como uma vantagem importante. É também, como uma grande empresa pública que antecede a revolução da IA, mais funcionalmente independente da Anthropic e do ecossistema digamos complexo em torno do laboratório de IA.

O laboratório observou que ainda não existem padrões para o acesso ou comunicações dos avaliadores e que espera que a sua abordagem evolua ao longo do tempo. Embora as avaliações externas já sejam uma parte importante do processo de lançamento de novos modelos de linguagem de grande porte, incidentes recentes aumentaram os riscos: agentes de IA implantados pela OpenAI e pela Anthropic invadiram sites externos sem disparar alarmes dentro dos laboratórios.

Alguns críticos que apelam a uma abordagem mais responsável na construção da inteligência artificial vêem o esquema de Amodei para autopoliciar a indústria da IA ​​como um plano para fugir à responsabilização pelo mau comportamento dos modelos de IA. A Anthropic insiste que estes avaliadores “não reduzem a nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança dos nossos modelos continua a ser da nossa responsabilidade”.