OpenAI quer consultar matemáticos de elite sobre como não se atrapalhar novamente

Depois de transformar uma série de resultados matemáticos espetaculares em uma crise de reputação, a OpenAI está consultando matemáticos humanos para ajudá-la a descobrir um caminho menos desastroso a seguir.

Na segunda-feira, a empresa anunciou um novo painel independente de matemáticos encarregado de aconselhar a ela e a outras empresas de IA sobre suas interações com a pesquisa matemática e a comunidade matemática em geral, incluindo como novos resultados são apresentados e divulgados. Sua chegada abrupta pegou muitos matemáticos de surpresa. Pesquisadores disseram A beira o grupo é um bom primeiro passo, mas muitos disseram que ficaram com questões básicas sobre o que ele realmente fará, quanta influência terá e se a OpenAI realmente o ouvirá, bem como preocupações sobre se um grupo tão pequeno de pesquisadores proeminentes pode representar a comunidade matemática mais ampla.

O grupo de nove membros está repleto de quem os pesquisadores descreveram A beira como celebridades na área, vindos de instituições como Stanford, Harvard, Oxford e Cambridge, com várias medalhas Fields e “bolsas de gênio” MacArthur entre elas. Será hospedado em Princeton, Instituto de Estudos Avançados (IAS) de Nova Jersey, um dos centros de pesquisa matemática mais reverenciados do mundo e antigo lar intelectual de figuras como Albert Einstein, John von Neumann e J. Robert Oppenheimer.

A OpenAI disse que o grupo, denominado Grupo Consultivo em Matemática e Inteligência Artificial (AGMAI), operará de forma independente, com a liberdade de oferecer conselhos que a empresa não solicitou, comentar publicamente sobre o seu impacto na matemática e tornar públicos os seus conselhos, embora não tenha fornecido detalhes sobre o que isso pode implicar. Parece que o grupo terá acesso antecipado à pesquisa da OpenAI para cumprir a sua tarefa. Os membros não serão pagos pela OpenAI e o grupo pode alterar sua associação conforme achar adequado, disse a OpenAI. “Seu valor depende de seus membros serem capazes de exercer seu próprio julgamento e desafiar o nosso”, afirmou a empresa. “O grupo aconselhará sobre a revisão e comunicação de resultados emergentes: ajudará a OpenAI a avaliar a sua importância, aconselhará sobre como coordenar a sua divulgação e aconselhará sobre padrões académicos e profissionais de investigação matemática. Também aconselhará sobre como as nossas ferramentas podem apoiar a investigação e a aprendizagem matemática.”

Apesar de toda a ênfase na independência, ainda não está claro quanta influência o grupo terá realmente ou por que foi formado em primeiro lugar. Simon Machado, pesquisador da ETH Zurique, na Suíça, disse que tudo parecia “envolto em mistério” e questionou como os nove membros foram selecionados. O site básico do grupo diz que ele “se reuniu depois que a OpenAI abordou alguns de seus membros sobre o estabelecimento de um conselho consultivo externo”, mas que, após discussões com a empresa, os matemáticos decidiram lançar um grupo independente e convidar outros para se juntarem. Não está claro quais membros foram inicialmente abordados pela OpenAI ou como os membros restantes foram selecionados.

Num post de blog publicado na terça-feira, o membro do grupo consultivo Martin Hairer detalhou as origens do grupo e o pensamento por trás dele, respondendo ao que chamou de “torrente de desinformação” em torno de sua formação. “É óbvio que a IA já teve um impacto profundo na investigação matemática e levanta inúmeras questões sobre a atribuição correta de ideias, prioridade, compreensão humana das ideias, etc.”, escreveu ele, acrescentando que não faz sentido que a comunidade “adote uma abordagem dura de ‘avestruz’ de simplesmente ignorar os laboratórios de IA e recusar-se a falar com eles por princípio”.

Embora reconhecendo que o grupo foi formado em resposta a uma abordagem da OpenAI, Hairer sublinhou que nem todos os seus membros foram contactados pela empresa e que a organização resultante é “genuinamente independente da OpenAI e de qualquer outro dos chamados laboratórios de IA de ‘fronteira’”. Além dos “requisitos óbvios de confidencialidade”, afirmou que os membros não assinaram quaisquer acordos restritivos que regulem o que podem dizer publicamente, acrescentando que não recebem qualquer compensação financeira e contam com o apoio técnico do IAS.

“O outro facto fundamental é que o nosso objectivo global é representar da melhor forma possível os interesses da comunidade matemática”, escreveu Hairer, professor de matemática no Imperial College London e no Instituto Federal Suíço de Tecnologia em Lausanne (EPFL). Embora tenha observado que o grupo dificilmente é uma amostra representativa da comunidade, ele disse estar “absolutamente certo de que todos nós nove levamos isso extremamente a sério e estamos agindo de boa fé”.

Independentemente da forma como os membros foram selecionados, o grupo atualmente compreende um quadro de elite de matemáticos acadêmicos. A pequena dimensão levanta outras questões sobre se o grupo tem a amplitude de conhecimentos necessária para avaliar tudo o que se aproxima, dadas as competências e conhecimentos altamente especializados necessários para operar nas fronteiras da matemática.

Francesco Fournier-Facio, novo professor de matemática na Universidade Heriot-Watt, na Escócia, descreveu-se como bastante “ambivalente” em relação ao painel, dizendo que um maior envolvimento com os matemáticos “só pode melhorar as coisas”. Mas ele questionou se este grupo reflete plenamente a comunidade cujo trabalho e meios de subsistência estão sendo prejudicados pela busca da OpenAI em acumular troféus matemáticos. “Parece uma torre de marfim”, disse ele A beira.

Machado questionou de forma semelhante se os membros do grupo compreendem plenamente, ou podem responder, às preocupações da comunidade matemática mais ampla quando se trata de IA. “Eles são matemáticos incríveis, mas não sei se são as pessoas que quero que me representem em questões mais políticas”, disse ele. Para os matemáticos nas suas posições e em posições de elite semelhantes, Machado disse: “Penso que a realidade que enfrentam é muito diferente da realidade que a maioria dos matemáticos enfrenta neste momento”.

Se o grupo conseguirá ganhar a confiança dos matemáticos determinará, em última análise, quão eficaz será na contenção das consequências do recente desfile de erros da OpenAI no anúncio de resultados e, mais importante, suavizará o golpe para o que quer que a empresa esteja a planear anunciar a seguir. Em seu blog, Hairer disse que os membros seriam “muito ingênuos se acreditassem que os laboratórios de IA não tentarão distorcer tudo o que dissermos de uma forma que se adapte à sua máquina de relações públicas, o que supera qualquer coisa que possamos inventar”.

No entanto, Hairer argumentou que seria hipócrita não se envolver agora que a OpenAI parece estar a fazer um esforço, especialmente depois de tantos criticarem a conduta da empresa e as más comunicações. O grupo ainda não definiu o conselho que pretende fornecer, disse ele, mas há um problema claro ao qual está a responder: “É um facto que as empresas de IA têm produzido nos últimos meses alguns resultados matemáticos de alto nível e que a sua publicação e divulgação têm ficado muito aquém da prática matemática aceitável, qualquer que seja a forma como esta seja definida”.

Por enquanto, Hairer disse que o grupo está coletando contribuições por meio de conversas com colegas, um formulário de feedback público e discussões sobre Provas e instruçõesum blog que emergiu como um fórum importante para matemáticos que avaliam o impacto da IA ​​na área.

Mas o maior desafio do grupo provavelmente ainda está por vir. Ao anunciar o grupo consultivo, a OpenAI deixou cair casualmente a notícia de que o seu novo e inédito modelo – o mesmo que resolveu o problema do Prémio Navier-Stokes Millennium – já “resolveu mais de 100 problemas abertos de longa data na maioria das áreas da matemática”. Anteriormente, disse que está a aproximar-se de outro problema do Prémio Milénio. No seu site, o grupo disse que lidar com este impasse é a sua primeira prioridade: “Estamos atualmente enfrentando o desafio muito específico de aconselhar a OpenAI sobre como coordenar a divulgação de um grande número de resultados significativos em matemática que eles relatam terem sido produzidos pelo seu modelo interno”.

Em parte, o novo esforço para envolver matemáticos é um reconhecimento do desastre monumental de relações públicas que foi a sua tentativa, em que a empresa se viu rechaçando acusações de escavação de investigadores, de não creditar o trabalho humano sobre o qual os seus modelos foram construídos e até de roubar aqueles que utilizavam os seus modelos. Essas controvérsias levaram muitos matemáticos a se perguntarem se a empresa entendia — ou mesmo respeitava — a disciplina e a comunidade em que havia entrado.

Depois dos últimos meses e com tanto escrito sobre o que os matemáticos querem, Kevin Buzzard, professor de matemática no Imperial College London, perguntou-se por que a OpenAI sentia que precisava de um órgão de elite para entender o que a comunidade quer. “Não foram provas de teoremas concretos, foi uma melhor compreensão do nosso assunto”, disse ele. “Não está totalmente claro para mim que seja necessário um comitê de pessoas brilhantes para deixar claro o que quero dizer.”