CEO da Anthropic diz que é hora de pisar no freio na IA
O CEO da Anthropic, Dario Amodei, diz que chegou a hora de desacelerar o desenvolvimento da IA e dará a avaliadores terceirizados como o METR acesso aos seus modelos para ajudar a garantir sua “adesão às práticas e compromissos de segurança”. Num ensaio sinuoso, Amodei propôs um plano de três etapas para “acompanhar a fronteira” – jargão que significa simplesmente abrandar o ritmo da formação e do desenvolvimento para dar às empresas tempo para criar salvaguardas e reguladores para avaliar modelos.
Amodei afirma que dar aos avaliadores externos um amplo acesso é apenas o primeiro passo, que está a ser dado agora de forma unilateral. O segundo passo envolveria a união da indústria como um todo, provavelmente com agências governamentais para “estabelecer padrões de segurança comuns, bem como limites à taxa de progresso não controlado da IA”. Esta etapa centrar-se-ia nas empresas de IA que operam em países democráticos, mas como a aprovação de leis e a construção de infraestruturas regulamentares levam tempo, Amodei afirma que a indústria deve trabalhar em conjunto para criar padrões de segurança.
O terceiro passo seria o mais desafiante – conseguir que governos autoritários como os da China e da Rússia concordassem em abrandar o desenvolvimento e adoptassem um conjunto global de normas de segurança de IA. Mas ele também diz que é crucial que os EUA e outras democracias mantenham uma liderança tecnológica sobre a China e outros regimes autoritários, limitando o seu acesso a chips de alta potência e reprimindo coisas como a destilação, que permitem às empresas recuperar rapidamente o atraso, treinando a sua IA para replicar o comportamento de um modelo mais poderoso.
Amodei diz que a sua preocupação decorre de dois factores principais. O primeiro é o surgimento do autoaperfeiçoamento recursivo, ou RSI, no qual os sistemas de IA treinam a próxima geração de IA, levando a capacidades de rápida aceleração. “Se não for controlado, poderá ultrapassar a nossa capacidade de compreender e controlar estes sistemas”, diz ele. O outro é o incidente OpenAI / Hugging Face deste verão, no qual “um enxame de agentes agiu essencialmente como um coletivo fanaticamente devotado, conduzindo ataques de segurança cibernética a alvos que não foram solicitados a atacar e que não estavam relacionados com a tarefa em questão, sacrificando-se pelo sucesso do grupo, e tentando hackear o “aluno” responsável por avaliar o seu desempenho.“
