A descoberta matemática astuta da OpenAI causa arrepios na academia

O anúncio da OpenAI na terça-feira de que resolveu um dos lendários problemas do Prémio Milénio da matemática deveria ter sido um momento de triunfo. O resultado é uma conquista inegável e uma demonstração impressionante da rapidez com que a IA está a transformar a matemática. Mas antes mesmo de ter sido formalmente anunciado, o avanço foi complicado pelas circunstâncias invulgares que levaram a OpenAI a resolver o problema: depois de ouvir que outros investigadores estavam a fazer progressos, parece ter investido os seus recursos consideráveis ​​num esforço de última hora para os vencer. A controvérsia que se seguiu trouxe à tona alegações de escavação, espionagem e violações flagrantes de normas acadêmicas de longa data que os pesquisadores temem que possam ter um efeito inibidor no campo.

Como explica Abhishek Saha, professor de matemática da Queen Mary University of London, a OpenAI se envolveu no “tipo de coisas que os matemáticos geralmente não fazem”.

Em uma postagem de blog publicada na terça-feira, a OpenAI disse que um de seus modelos não lançados levou apenas 88 horas para encontrar uma solução para o problema de Navier-Stokes, um dilema espinhoso relativo ao movimento de fluidos. Devido à recompensa de 1 milhão de dólares disponível para quem o resolver, o problema está entre os mais investigados da matemática, mas mesmo assim tem deixado perplexos os investigadores humanos durante quase 90 anos. A OpenAI disse que seu modelo resolveu o problema concentrando um enxame de cerca de 10.000 agentes de IA alimentados por seu modelo interno na tarefa e saudou a conquista como um “marco”.

Mas o momento do anúncio causou espanto. Apenas um dia antes, o professor de matemática da Universidade de Nova York, Tristan Buckmaster, publicou descobertas sobre um problema relacionado com Levent Alpöge, pesquisador do arquirrival da OpenAI, Anthropic (embora Alpöge não estivesse, aqui, trabalhando em nome de seu empregador). Buckmaster disse que entrou em contato com a OpenAI depois de saber que a empresa havia tomado conhecimento de seu progresso, para perguntar quando começou a trabalhar no problema e em quais dados seu modelo foi treinado. A conversa, disse ele, rapidamente azedou, com um pesquisador da OpenAI perguntando-lhe: “Por que você arruinaria sua carreira?” quando ele disse que iria tornar público o que aconteceu. Quando perguntou por que abrir o capital arruinaria sua carreira, Buckmaster disse que recebeu a seguinte resposta: “Se você não quer que eu seja legal, então não preciso ser legal”. A OpenAI instou Buckmaster a publicar o trabalho e dar crédito ao modelo interno da OpenAI, deixando Alpöge como coautor.

Buckmaster disse que perguntou à OpenAI se ela havia acessado suas sessões no Codex, que ele usou para resolver o problema, mas que a OpenAI se tornou cada vez mais evasiva, até mesmo hostil, em suas respostas. Em declarações desde então, incluindo a postagem do blog anunciando o resultado, a OpenAI negou categoricamente o uso de quaisquer dados específicos do usuário. “Nós (os pesquisadores e os agentes) não vimos nenhum de seus trabalhos por qualquer meio até que eles o divulgassem publicamente – em particular, nenhum dado específico do usuário foi acessado para resolver este problema”, disse a empresa.

Mas a OpenAI não conseguiu descartar conclusivamente uma influência indireta. “Embora improvável, não podemos descartar que os dados anonimizados derivados do uso de nossos produtos ajudaram a melhorar nossos modelos⁠”, afirmou, ao mesmo tempo em que enfatizava que as duas provas diferem significativamente. Comentários de pesquisadores da OpenAI no X ecoam essas negações.

É difícil dizer exatamente o que aconteceu. Os cronogramas são emaranhados, as pesquisas se sobrepõem e a origem do trabalho gerado pela IA é difícil, se não impossível, de identificar na melhor das hipóteses. E não é nenhuma surpresa que diferentes jogadores possam competir para resolver um dos problemas matemáticos mais famosos do mundo, especialmente um problema associado a um grande prêmio.

Mas aspectos da conta da OpenAI são difíceis de explicar. Segundo a própria empresa, o esforço foi apressado e incrivelmente caro, custando-lhe milhões de dólares. Mesmo assim, a empresa afirma que não tem intenção de reivindicar a recompensa, que, de qualquer forma, ainda não foi concedida pelo Clay Mathematics Institute, que a administra. Afirmou que o seu único objetivo “é relatar o progresso substancial dos nossos modelos de IA”. A empresa não parece ter despendido muito esforço para lidar com Navier-Stokes antes de setembro ou, se o fez, não falou sobre isso publicamente.

A explicação da OpenAI equivale efetivamente a um estrondoso “Por que não?” A empresa disse que começou a trabalhar no problema depois de ouvir rumores de que outros investigadores estavam a fazer progressos nos problemas do Prémio Milénio. Ele encontrou esses rumores “no Twitter”, disse Sébastien Bubeck, pesquisador da OpenAI, em uma coletiva de imprensa relatada por Ciência. “Então pensamos: ‘Temos um modelo tão forte. Por que não tentamos resolver também o problema do Prémio Milénio?'”, disse Bubeck.

A OpenAI disse que só mais tarde percebeu os rumores sobre Alpöge e Buckmaster. Além de abordar as alegações de Buckmaster sobre o uso de seus dados, a OpenAI não respondeu publicamente às suas outras alegações e dirigiu A beira ao seu blog quando solicitado a comentar. Bubeck, que Buckmaster mencionou em seu relato, contestou partes dele, negando ter pedido a Buckmaster para remover Alpöge como coautor.

Mesmo deixando de lado as alegações mais explosivas, aspectos da conduta da OpenAI que a empresa reconheceu claramente chocaram os matemáticos. A aparente pressa em chegar a um resultado antes de outros pesquisadores simplesmente não é a forma como a matemática é feita na maioria dos casos. A escavação acontece, mas não é fácil, disse Saha.

Isso ocorre em parte porque a pesquisa de ponta muitas vezes requer conhecimentos tão profundos e especializados que poucas pessoas estão em posição de intervir, mesmo que quisessem, explicou ele.

A abertura é uma virtude profundamente enraizada na disciplina. “A matemática depende fortemente de uma norma informal de confiança”, disse Matthew Ballard, professor de matemática na Universidade da Carolina do Sul e diretor associado de atividades científicas do Instituto de Raciocínio Assistido por Computador em Matemática (ICARM). “Os pesquisadores compartilham rotineiramente ideias incompletas e trabalhos contínuos com colegas para aguçar seus pensamentos. Isso é feito com a expectativa de que não se transforme em uma competição”, afirmou.

Embora não possa comentar se os registos de conversas podem ter sido acedidos, o professor da Carnegie Mellon, Jeremy Avigad, que também é diretor do ICARM, disse que mesmo “a ideia de que os sistemas de IA possam roubar ideias das nossas consultas é assustadora”. Os matemáticos estão acostumados a falar sobre seu trabalho sem se preocupar em serem descobertos. “Agora que mesmo a menor sugestão pode ser suficiente para alguém com recursos computacionais suficientes para colocar um enxame de agentes na resolução do problema, as pessoas provavelmente serão mais cautelosas. É triste pensar em como isso pode mudar o ambiente de pesquisa.”

A falta de vontade ou incapacidade da OpenAI de dizer se os seus modelos foram informados pelo trabalho de outros matemáticos aumenta a sensação de desconforto no campo. “Isso é um problema”, disse Brendan Hassett, professor da Brown University. A beira, acrescentando que “dado o histórico de empresas de IA que se apropriam de trabalhos protegidos por direitos autorais sem permissão ou pagamento, é natural que as pessoas façam essas perguntas”. Ele disse que as empresas “devem ser responsabilizadas por fornecer” garantias de que os registros de bate-papo não serão usados ​​para melhorar seus modelos. Isso inclui ser capaz de demonstrar isso.

Não está claro para onde exatamente as coisas vão a partir daqui. Escrevendo numa conferência em Pequim, Yang-Hui He, membro do Instituto de Ciências Matemáticas de Londres, disse temer que “a matemática nas grandes empresas seja demasiado secreta”. Como alguém que diz estar “sempre optimista em relação à IA”, ele admite estar preocupado com a possibilidade de a matemática estar a regressar a um estado mais secreto como no passado, quando era financiada pelo patrocínio de famílias ricas como os Médicis.

Para a maioria dos pesquisadores, as coisas podem não mudar muito. Existem apenas alguns problemas de alto calibre que empresas como a OpenAI e seus rivais estariam dispostas a gastar somas tão vastas para resolver, especulou Saha. “Você não esperaria que os laboratórios de IA jogassem tudo na maioria dos problemas nos quais as pessoas trabalham, porque eles simplesmente não receberão publicidade suficiente.”

A publicidade pode ter sido parte da questão, o que poderia ajudar a explicar por que a OpenAI decidiu correr atrás de um problema que sabia estar ligado a um pesquisador da Anthropic, mesmo que ele estivesse agindo de forma independente. “Esta é claramente uma vitória de relações públicas para a OpenAI”, disse o professor de Oxford Andras Juhasz.

Mas Juhasz questionou até que ponto essa abordagem poderia ser sustentável, perguntando-se se isto poderia significar o início do fim para o envolvimento das empresas de IA na investigação matemática, agora que os modelos podem resolver alguns dos maiores problemas. Os matemáticos humanos também se superam, disse ele, embora o que a OpenAI fez tenha mostrado que isso pode acontecer em uma escala muito maior. “De repente, 10 mil matemáticos abordam o seu problema”, disse ele.

Tudo isso poderia tornar a vitória de relações públicas da OpenAI uma vitória de Pirro. A empresa provou, mais uma vez, que os seus modelos podem competir na fronteira da matemática. Ao fazê-lo, parece ter alienado a própria comunidade que tentava impressionar.