Anthropic alerta que está muito próximo da capacidade RSI, também conhecida como IA de autoconstrução

Embora muita atenção tenha se concentrado nas finanças atualizadas que a Anthropic revelou em seu S-1A revisado na segunda-feira (as receitas estão aumentando, mas as despesas também), o laboratório de IA lançou outra pequena bomba nas letras miúdas.

O processo parece alertar que a empresa está prestes a criar um modelo capaz de autoaperfeiçoamento recursivo (RSI).

RSI é o ponto em que a IA se torna tão boa no treinamento que gera uma aceleração dramática das capacidades de IA. Para os destruidores da IA, o RSI representa o cataclismo do qual não há retorno, no qual a IA se transforma em algo suficientemente poderoso para escapar ao controlo humano e pode ser indiferente aos danos que causa ao atingir os seus objectivos.

Para os entusiastas da IA, o RSI, ou alguma versão da IA ​​que se utiliza de forma confiável para melhorar, representa a promessa da tecnologia, onde se torna uma ferramenta de produtividade inimaginável, descoberta científica e muito mais.

A Anthropic parece acreditar que o RSI é ao mesmo tempo uma promessa e um perigo. Diz no S-1 que utiliza IA na sua I&D, mas adverte: “Usar a IA para ajudar a construir uma IA mais capaz também pode representar um risco de segurança considerável, especialmente se acelerar drasticamente o ritmo do progresso. Esta é uma das áreas cobertas pela nossa Política de Escalabilidade Responsável, que estabelece os nossos planos para monitorizar e mitigar os riscos à medida que nos aproximamos do que foi denominado ‘auto-aperfeiçoamento recursivo'”.

Quando o termo RSI se tornou popular no início deste ano, muitos acreditaram que era uma palavra da moda ou, na melhor das hipóteses, uma meta muito difícil de alcançar, definir ou provar.

Mas na segunda-feira, a Anthropic adicionou novas declarações à sua seção de Fatores de Risco, dizendo que 1) já usou IA para desenvolver novos modelos cujos saltos em capacidade não reconheceu na época 2) poderá em breve atender à sua própria definição interna de RSI (ênfase ousada nossa, abaixo):

Além disso, a nossa crescente utilização de sistemas de IA para acelerar a nossa própria investigação e desenvolvimento pode fazer com que as capacidades dos nossos modelos avancem mais rapidamente do que a nossa capacidade de desenvolver, validar e implementar medidas de segurança, alinhamento e proteção correspondentes. Como resultado, no passado não identificamose poderemos no futuro não identificar, uma aceleração significativa na nossa taxa de desenvolvimento até depois de esta ter ocorrido.

Por exemplo, as nossas estimativas internas e as nossas expectativas relativamente aos modelos futuros, em vez dos nossos modelos actuais, indicam que poderemos cumprir iminentemente a definição da nossa Política de Escalabilidade Responsável de “progresso dramaticamente acelerado atribuível à IA”. Não designámos nenhum dos nossos modelos atuais como excedendo este limite e continuamos a avaliar os dados subjacentes.

No entanto, a Anthropic também afirmou no processo que nenhum dos seus modelos ultrapassou este limite de RSI ainda e que promete manter os humanos no processo de I&D num futuro próximo. “Não prevemos ser capazes de usar Claude com segurança para projetar e construir de forma totalmente autônoma gerações sucessivas de modelos de fronteira sem supervisão ou compreensão humana significativa, se e quando isso se tornar tecnicamente possível. Conseqüentemente, estamos considerando atualizações em nossa Política de Escalabilidade Responsável para manter os humanos no controle do desenvolvimento do modelo de fronteira na Antrópica.”

Os céticos poderão salientar que um S-1 funciona tanto como divulgação como como marketing, e que as alegações de estar próximo de um modelo tão poderoso que pode construir-se sozinho podem cair na última categoria.

No entanto, não há dúvida de que as capacidades de Claude, especialmente em termos de codificação, matemática e segurança cibernética, cresceram muito este ano. Se a Anthropic pensa que a possibilidade de RSI está próxima, talvez devêssemos acreditar e agir – talvez governar – de acordo.