O cientista-chefe da OpenAI pensa em como limitar o desenvolvimento de IA

Uma nova postagem no blog do cientista-chefe da OpenAI, Jakub Pachocki, discute limites potenciais no desenvolvimento de IA, com foco em uma medida chamada perplexidade.

A desaceleração do desenvolvimento da IA ​​tornou-se um tema particularmente quente depois que um ex-pesquisador da OpenAI e da Anthropic disse que as empresas estavam “jogando com nossas vidas”, e até mesmo o pedido de IPO da Anthropic sugeriu que a tecnologia poderia representar “riscos catastróficos ou existenciais para a sociedade”.

O CEO da Anthropic, Dario Amodei, publicou então um plano para “acompanhar a fronteira”, aparentemente endossado pelo CEO da OpenAI, Sam Altman, e pelo CEO da SpaceX, Elon Musk. Entre outras coisas, Amodei apelou às empresas para que concordassem com “padrões de segurança comuns, bem como limites à taxa de progresso não controlado da IA”.

Mas para estabelecer um limite de velocidade no desenvolvimento de IA, é necessária uma medida de velocidade acordada. A postagem de Pachocki – descrita por Altman como “a coisa mais importante que a OpenAI publicou nos últimos tempos” – sugere que a perplexidade (não confundir com a empresa de mesmo nome) poderia ser essa medida.

No argumento de Pachochki, os benchmarks que se concentram nas “capacidades downstream” da IA ​​tornaram-se rapidamente desatualizados à medida que a tecnologia avança. Mas a perplexidade – que “mede quão bem um modelo prevê o próximo token, em média; menor perplexidade significa melhores previsões” – permaneceu “informativa”.

A postagem de Pachochki inclui um gráfico de como a perplexidade dos modelos OpenAI diminuiu desde o GPT 3.5.

“O GPT-4, com ~0,91, era proficiente na utilização produtiva do raciocínio em cadeia de pensamento, o que motivou a subsequente elicitação direcionada dessa capacidade e a criação de modelos de raciocínio modernos”, escreveu ele. “Agora, à medida que atingimos perdas abaixo de 0,8, assistimos ao surgimento de capacidades transformadoras em domínios como a segurança cibernética e a matemática.”

Assim, na sua opinião, a perplexidade poderia fornecer a base para “uma referência partilhada para a inteligência geral”, que as empresas de IA poderiam então utilizar para estabelecer “limites comuns”. Com a perplexidade a servir como medida padrão para o progresso da IA, as empresas comprometer-se-iam a não ultrapassar um determinado limiar “até que a nossa capacidade de compreender e monitorizar o comportamento da IA ​​atinja um determinado marco concreto”.

Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.

Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo