O cientista-chefe da OpenAI pensa em como limitar o desenvolvimento de IA

Uma nova postagem no blog do cientista-chefe da OpenAI, Jakub Pachocki, discute limites potenciais no desenvolvimento de IA, com foco em uma medida chamada perplexidade.
A desaceleração do desenvolvimento da IA tornou-se um tema particularmente quente depois que um ex-pesquisador da OpenAI e da Anthropic disse que as empresas estavam “jogando com nossas vidas”, e até mesmo o pedido de IPO da Anthropic sugeriu que a tecnologia poderia representar “riscos catastróficos ou existenciais para a sociedade”.
O CEO da Anthropic, Dario Amodei, publicou então um plano para “acompanhar a fronteira”, aparentemente endossado pelo CEO da OpenAI, Sam Altman, e pelo CEO da SpaceX, Elon Musk. Entre outras coisas, Amodei apelou às empresas para que concordassem com “padrões de segurança comuns, bem como limites à taxa de progresso não controlado da IA”.
Mas para estabelecer um limite de velocidade no desenvolvimento de IA, é necessária uma medida de velocidade acordada. A postagem de Pachocki – descrita por Altman como “a coisa mais importante que a OpenAI publicou nos últimos tempos” – sugere que a perplexidade (não confundir com a empresa de mesmo nome) poderia ser essa medida.
No argumento de Pachochki, os benchmarks que se concentram nas “capacidades downstream” da IA tornaram-se rapidamente desatualizados à medida que a tecnologia avança. Mas a perplexidade – que “mede quão bem um modelo prevê o próximo token, em média; menor perplexidade significa melhores previsões” – permaneceu “informativa”.
A postagem de Pachochki inclui um gráfico de como a perplexidade dos modelos OpenAI diminuiu desde o GPT 3.5.
“O GPT-4, com ~0,91, era proficiente na utilização produtiva do raciocínio em cadeia de pensamento, o que motivou a subsequente elicitação direcionada dessa capacidade e a criação de modelos de raciocínio modernos”, escreveu ele. “Agora, à medida que atingimos perdas abaixo de 0,8, assistimos ao surgimento de capacidades transformadoras em domínios como a segurança cibernética e a matemática.”
Assim, na sua opinião, a perplexidade poderia fornecer a base para “uma referência partilhada para a inteligência geral”, que as empresas de IA poderiam então utilizar para estabelecer “limites comuns”. Com a perplexidade a servir como medida padrão para o progresso da IA, as empresas comprometer-se-iam a não ultrapassar um determinado limiar “até que a nossa capacidade de compreender e monitorizar o comportamento da IA atinja um determinado marco concreto”.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.





