Um pesquisador antrópico acabou de nos dar uma olhada no autoaperfeiçoamento da IA

Treinar modelos de IA com outros modelos de IA tornou-se uma meta muito popular para neolabs – e agora, um pesquisador do programa de bolsistas da Anthropic nos deu uma visão antecipada de como isso poderia ser na prática.

Na sexta-feira, a Anthropic publicou um novo artigo intitulado “Pesquisadores automatizados podem mitigar falhas de alinhamento com segurança”, detalhando como os sistemas de IA poderiam melhorar de forma confiável o desempenho de um modelo em um conjunto de benchmarks de alinhamento. Ao receber 10 benchmarks para comportamentos desalinhados específicos, os sistemas automatizados foram capazes de melhorar o desempenho em cada um deles sem degradar o desempenho geral.

Liderado pelo colega Antrópico Chen Yueh-Han, o sistema replica grande parte da abordagem tradicional de pesquisa. Cada sistema automatizado pesquisa a literatura disponível, propõe um método e treina o modelo usando esse método durante 30 minutos, aumentando gradualmente o benchmark ao longo de várias iterações. Os métodos eficazes são preservados enquanto os ineficazes são descartados, permitindo que o sistema opere rapidamente e em grande escala.

“No geral, esses resultados fornecem evidências iniciais de que o pós-treinamento de alinhamento automatizado pode se tornar prático no curto prazo”, diz o artigo.

O artigo é um passo em direção ao autoaperfeiçoamento recursivo, que muitos veem como o próximo passo significativo no progresso da IA. Se os modelos puderem melhorar o seu próprio treino de alinhamento, é plausível que possam melhorar as práticas de treino de forma mais ampla – altura em que os investigadores humanos de IA poderão em breve tornar-se obsoletos.

O artigo não tem vergonha de abordar essa ideia, comparando explicitamente o Automated Alignment Researcher (AAR) ao seu equivalente humano. “O melhor método AAR supera o que humanos experientes propõem, em média em seis horas”, diz o jornal. “Direções de pesquisa guiadas por humanos não levam a um desempenho mais forte.”

Existe até uma comparação de custos, caso alguém não esteja convencido. “Um AAR custa cerca de US$ 4 por hora em inferência de API, contra os US$ 150 por hora que pagamos aos nossos pesquisadores humanos.”

Para ser justo, o artigo também aponta algumas limitações para esta abordagem. O sistema automatizado só funciona na medida em que os benchmarks refletem os objetivos reais de alinhamento e, mesmo assim, há um trabalho significativo a ser feito no estabelecimento e manutenção desses benchmarks – sem mencionar a manutenção e expansão da literatura da qual os pesquisadores automatizados são extraídos.