OpenAI continua destruindo matemáticos | A beira
Em poucos meses caóticos, a OpenAI demonstrou que pode fazer duas coisas com notável consistência: fazer avanços impressionantes na matemática e depois errar colossalmente ao anunciá-los. A OpenAI agora está tentando fazer melhor. De alguma forma, isso também estragou tudo.
A mais recente tentativa da OpenAI de reparar relações fragmentadas com uma comunidade matemática que tem repetidamente alienado é consultar um novo grupo consultivo independente de profissionais de elite. Mas os matemáticos falando com A beiraincluindo um dos membros do grupo, descrevem um caso confuso e confuso que traz muitas das características das incursões apressadas anteriores da OpenAI na matemática, sugerindo que a empresa aprendeu pouco com seus erros. E depois há a tarefa assustadora que o grupo recebeu primeiro: ajudar a coordenar a divulgação de mais resultados que a OpenAI afirma que o seu modelo não lançado produziu, cuja perspectiva já está a despertar o temor entre os investigadores sobre o que esta iminente onda de avanços poderia fazer ao seu campo.
“A forma como formularam o anúncio não ajudou muito.”
Em 21 de setembro, vários matemáticos eminentes anunciaram a formação do Grupo Consultivo em Matemática e Inteligência Artificial (AGMAI) em um post convidado no blog do professor de matemática da UCLA, Terence Tao, medalhista Fields e crítico declarado da conduta das empresas de IA em matemática. O grupo seria um corpo independente de nove matemáticos de elite no topo de sua área. A postagem dizia que o grupo operará independentemente da OpenAI e aconselhará ela e outros laboratórios de IA de ponta “na revisão e comunicação de resultados emergentes”. No seu próprio anúncio, a OpenAI enfatizou repetidamente a independência do grupo, dizendo que os membros seriam livres para desafiar a empresa publicamente, publicar os seus conselhos e oferecer orientações que não tivesse solicitado. Também sublinhou os limites da influência do grupo, observando que “não será responsável por nos aconselhar sobre como acompanhar o nosso progresso interno em matemática”.
Mas muitos matemáticos, e certamente a maioria das pessoas fora dessa comunidade, aprenderam sobre esse grupo apenas através da implementação muito mais barulhenta do OpenAI.
O resultado foi uma confusão generalizada sobre se a AGMAI era verdadeiramente independente ou se o era, como vários matemáticos A beira falei nos dias após o anúncio assumido, algum tipo de órgão nomeado pela OpenAI. Essa impressão não era totalmente irracional, já que o site da AGMAI diz que ela foi formada depois que a OpenAI abordou alguns de seus eventuais membros sobre o estabelecimento de um conselho consultivo, antes de decidirem agir de forma independente e convidar outros para participar. Ainda não está claro qual dos nove membros a OpenAI abordou inicialmente.
Falando com A beira em uma videochamada de um auditório, Martin Hairer, membro da AGMAI e professor de matemática no Imperial College London e no Instituto Federal Suíço de Tecnologia em Lausanne (EPFL), fez questão de enfatizar a independência do grupo da OpenAI. Embora reconhecendo que a abordagem da OpenAI a alguns matemáticos foi o ímpeto original para a sua formação, ele disse que o grupo não recebe nenhum apoio financeiro, técnico ou outro da empresa, e que nenhum dos seus membros assinou acordos que restrinjam o que podem dizer ou fazer além dos requisitos de confidencialidade padrão necessários para lhes dar acesso avançado à investigação.
Tem sido claramente um período agitado para Hairer, que descreveu os dias anteriores como uma experiência “muito frustrante” e “intensa”. “Não trabalhamos para a OpenAI, não somos pagos por eles e é totalmente independente”, disse ele. Hairer disse que o grupo está igualmente aberto a trabalhar com outros laboratórios de IA de ponta e já iniciou conversas com alguns, embora tenha se recusado a dizer quais.
As soluções são muitas vezes menos importantes do que a compreensão que as acompanha. Na matemática humana, os dois têm andado tradicionalmente de mãos dadas e a IA parece estar a mudar isso.
Mesmo assim, Hairer parecia exasperado com a forma como a OpenAI anunciou o relacionamento. Num post de blog publicado em meio ao alvoroço que se seguiu, Hairer reconheceu que seria ingênuo pensar que as empresas de IA não tentariam tirar vantagem do envolvimento do grupo. Dado que o grupo surgiu em parte à luz da forma atroz como a OpenAI lidou com avanços matemáticos anteriores, esse risco estava na frente e no centro. A solução da OpenAI para um prestigioso problema do Prêmio Milênio rapidamente se transformou em brigas por crédito, furos e tratamento dispensado aos matemáticos, de modo que a comunidade ficou naturalmente desconfiada.
Hairer reconheceu que o anúncio da OpenAI pouco fez para ajudar o grupo incipiente a estabelecer a sua independência. A AGMAI precisa conquistar a confiança dos matemáticos para ajudá-los a navegar em um relacionamento cada vez mais tenso com empresas de IA. “A forma como formularam o anúncio não ajudou muito”, disse Hairer. “Se você ler exatamente em detalhes, não há nada de errado no que eles dizem”, disse ele, observando que a empresa é “cuidadosa” em sua redação. “Eles obviamente são relações-públicas muito boas”, disse ele, rindo.
Todo o esforço – o anúncio, a formação do grupo, as suas comunicações com a comunidade matemática – parece ter acontecido às pressas. Questionado na quarta-feira passada sobre os planos da AGMAI, Hairer riu e disse: “Então, nós, bem, você sabe, começamos há dois dias. Portanto, não é como se tivéssemos um grande plano mestre”.
Essa urgência pode dever-se ao facto de a OpenAI ter uma parcela de resultados que está claramente ansiosa por divulgar o mais rapidamente possível. Desde que resolveu o problema do Prêmio Navier-Stokes Millennium, a OpenAI afirma que seu “modelo interno não lançado já resolveu mais de 100 problemas abertos de longa data na maioria das áreas da matemática”.
Evitar outro desastre de relações públicas é o motivo pelo qual a OpenAI se deu ao trabalho de tentar reunir uma equipe de alguns dos melhores matemáticos do mundo para consultar. Mas alardear o grande número de resultados que tem à espera, ao mesmo tempo que promete lidar com eles de forma responsável, apenas sublinha o quanto a OpenAI é uma outsider matemática.
“Não é assim que qualquer académico se comporta”, disse Álvaro Lozano-Robledo, professor de matemática na Universidade de Connecticut. “Eu não saio por aí dizendo, ‘Oh, eu provei todas essas coisas, mas não sei o que fazer com elas’”.
Ele vê uma desconexão semelhante em outros pronunciamentos da OpenAI, como quando Laurance Fauconnet da OpenAI disse A beira a empresa tinha “feito progressos substanciais” noutro problema do Prémio Millennium. “Nenhum matemático diria isso”, disse Lozano-Robledo. “Ou você resolveu ou ainda está tentando.”
Lozano-Robledo disse que espera que o envolvimento com a AGMAI seja uma tentativa séria da OpenAI de abordar as preocupações dos matemáticos, mas sublinhou que fazê-lo significa que deveria ser um membro responsável da comunidade de investigação. Isso exige mais do que simplesmente lançar resultados para o mundo e seguir em frente, como muitos matemáticos acreditam que tenha feito com as suas descobertas mais recentes. Pesquisadores A beira conversou com reclamou de manuscritos mal escritos e pouco envolvimento com a literatura em torno de uma descoberta, o que dificulta a compreensão do significado de um resultado e deixa trabalhos importantes sem o devido crédito. Às vezes, a empresa alterava discretamente os documentos para corrigir deficiências após sua divulgação, mas não anunciava as alterações nem deixava um registro claro do que foi alterado. A beira notei isso quando a empresa anunciou “Dez avanços em matemática e ciência da computação teórica” no início de agosto, e Hairer descreveu separadamente momentos em que parecia que a empresa alterou os manuscritos “sorrateiramente” em resposta às críticas. “Isso também deixa as pessoas paranóicas, certo?” Hairer disse, descrevendo-o como “acadêmico de má qualidade” e “muito ruim e desleixado”.
Tal como acontece com os resíduos de IA noutros locais, as pessoas que os criam raramente são as que pagam os custos para lidar com eles. Lozano-Robledo descreveu o dilúvio de soluções matemáticas geradas por IA como um “fardo” para a comunidade – algo que ele acha que as empresas de IA fundamentalmente não entendem. “O fardo é que eles estão a produzir uma solução”, disse ele, mas as soluções são muitas vezes menos importantes do que a compreensão que as acompanham. Na matemática humana, os dois andam tradicionalmente de mãos dadas e a IA parece estar a mudar isso.
“Então nós, bem, você sabe, começamos há dois dias. Então não é como se tivéssemos um grande plano mestre.”
As empresas de IA podem estar produzindo resultados impressionantes, mas ainda precisam de matemáticos humanos para descobrir a importância real de um resultado. “Eles precisam da nossa experiência”, disse Lozano-Robledo. “Eles precisam que celebremos essa solução.”
Para outros matemáticos A beira com quem falei, esse fardo é muito mais pessoal. Há semanas que a OpenAI tem sugerido outro problema do Prémio Milénio e afirma ter mais de 100 resultados para problemas aparentemente importantes prontos para serem resolvidos, ao mesmo tempo que revela pouco sobre o que qualquer um deles realmente é. Após a turbulência em torno dos anúncios anteriores, em particular da Navier-Stokes, essa incerteza criou uma atmosfera tensa. Muitos investigadores expressaram receio de que um problema ou área de trabalho ao qual dedicaram anos, ou mesmo décadas, das suas vidas profissionais possa ser o próximo problema, despachado abruptamente por uma empresa que suspeitam estar a fazê-lo como um golpe publicitário a caminho de uma IPO.
“Eles estão apenas alimentando a paranóia do que poderiam ter provado”, disse Lozano-Robledo, acusando a empresa de “alimentar o frenesi” e aumentar o temor entre muitos matemáticos de que sua área de trabalho possa ser interrompida em seguida. “Tipo, de que outro problema do Milénio estão eles a falar quando dizem ‘Quase resolvemos outro problema do Milénio’? Essa frase não faz sentido em matemática.” O pesquisador enfatizou que essa arrogância simplesmente não é a forma como a matemática costuma ser feita.
Para Colva Roney-Dougal, professora de matemática na Universidade de St Andrews, na Escócia, a incerteza em torno da OpenAI já está a ter um efeito profundo na forma como ela pensa sobre o seu trabalho. “É um tanto angustiante saber que um ‘grande número’ de resultados provavelmente será anunciado em breve”, disse ela. “Quanto mais existem, mais provável é que o meu trabalho contínuo, ou o dos meus alunos, de repente se torne irrelevante.”
O rápido ritmo de desenvolvimento deixou Roney-Dougal numa espécie peculiar de encruzilhada académica: “Portanto, não tenho certeza se deveria tentar apressar o maior número possível de artigos, ou esperar passivamente para ver quais são esses resultados, ou continuar normalmente”, disse ela.
Hairer conhece bem esse tipo de ansiedade. Ele disse que a potencial interrupção para os pesquisadores foi uma das razões pelas quais ele adicionou seu nome a uma lista de medalhistas Fields que tentavam abordar o que eles descreveram como objetivos “gravemente desalinhados” das empresas de IA e da comunidade matemática. Ele também está ciente de que a OpenAI pode transformar o envolvimento dele e de outros membros proeminentes da AGMAI em seu benefício, especialmente com o público em geral.
Deixe-os, ele disse. “Eles não vão me prejudicar na comunidade matemática”, disse Hairer. “Em certo sentido, não me importo realmente com o que dizem. Mas o que me preocupa é a comunidade matemática como um todo. todo.”
