Sobre o problema do Prêmio Navier-Stokes Millennium

Sobre o problema do Prêmio Navier-Stokes Millennium (via) Resultado impressionante da OpenAI, que usou um modelo não lançado para produzir uma resolução para o problema de existência e suavidade de Navier-Stokes, um dos sete problemas do Prêmio Millennium que foram sujeitos a um prêmio de US$ 1.000.000 desde 24 de maio de 2000.

A descoberta é um tanto ofuscada pelas acusações de trapaça de Tristan Buckmaster, um professor de matemática da NYU que estava colaborando em problemas relacionados com Levent Alpöge, um matemático talentoso que atualmente trabalha para a Anthropic.

A reclamação de Tristan veio acompanhada de uma versão publicada às pressas dos seus próprios resultados. Aqui está o PDF descrevendo o que aconteceu. O muito A versão resumida é que Tristan e Levent trabalharam no problema por quase um ano, fazendo uso extensivo de Claude e Codex (principalmente GPT-5.6 Sol), e então tiveram uma descoberta em 15 de agosto. O boato matemático começou a funcionar e Tristan e Levent ouviram que a OpenAI tinha ouvido falar que a Anthropic havia resolvido “um grande problema aberto”, então eles entraram em contato e descobriram que a OpenAI tinha uma equipe trabalhando em um problema relacionado, com uma abordagem semelhante. Citando Tristão:

Perguntei quando o primeiro aviso foi enviado por eles. Esta questão não foi respondida diretamente pela OpenAI por algum tempo. Eventualmente ficou acordado que ele havia sido enviado nos últimos dias, depois que informações sobre nosso trabalho chegaram à OpenAI.

Perguntei se o modelo havia sido treinado ou teve acesso às nossas sessões no Codex, nas quais colocamos todos os nossos rascunhos para todo este projeto. Disseram-me que o modelo não procurava dados do usuário. Perguntei novamente, sobre treinamento, e não obtive resposta.

Fica mais complicado a partir daí. A equipe da OpenAI se ofereceu para esperar a publicação de Tristan ou para que ele escrevesse um artigo sobre o resultado, mas foi claro que Levent iria não ser convidado como coautor devido ao relacionamento competitivo da OpenAI com seu empregador.

Veja como a OpenAI descreveu seu trabalho:

Na terça-feira, 1 de Setembro, ouvimos rumores de que dois problemas do Prémio Milénio tinham sido resolvidos. Inspirados por estes rumores e pela mudança radical no desempenho do nosso modelo interno, lançámos um esforço para avaliá-lo em todos os problemas abertos do Prémio Millennium e em alguns outros problemas de alto impacto. (…)

Os agentes chegaram à sua resolução no sábado, 5 de setembro, cerca de 88 horas após o lançamento dos primeiros agentes. A formalização e verificação enxuta levaram 17 horas adicionais via GPT‑6 Astra.

Em todas as tentativas de problemas, os agentes enviaram 4,9 milhões de mensagens e usaram cerca de 300 bilhões de tokens de saída. No processo de resolução do problema Navier-Stokes, os agentes enviaram 2,7 milhões de mensagens e utilizaram aproximadamente 130 bilhões de tokens de saída.

(Não sabemos a estrutura de custos do modelo interno que eles usaram, mas 300 bilhões de tokens de saída a preços de API pública para o GPT-6 Astra custariam US$ 15 milhões.)

É aqui que eles fornecem sua perspectiva sobre o trabalho de Tristan e Levent (ênfase minha):

Nosso esforço começou em 1º de setembro, depois de ouvir um boato que mais tarde percebemos estar relacionado a Levent Alpöge, um funcionário da Anthropic, e Tristan Buckmaster, um professor de matemática na NYU. Após a conclusão de nosso projeto completo e verificação Lean (em 6 de setembro), acreditando pelo boato que eles também tinham uma solução de Navier-Stokes, entramos em contato com eles para oferecer uma divulgação simultânea de nosso resultado e para reconhecer sua prioridade em um anúncio conjunto. (…)

Nós (os pesquisadores e os agentes) não vimos nenhum de seus trabalhos por qualquer meio até que eles o divulgaram publicamente – em particular, nenhum dado específico do usuário foi acessado para resolver este problema. Embora improvável, não podemos descartar que dados anonimizados derivados do uso de nossos produtos tenham ajudado a melhorar nossos modelos. No entanto, as nossas provas diferem significativamente e mesmo os resultados precisos provados são diferentes no caso de Euler (forçado vs não forçado).

Minha interpretação do que aconteceu aqui é que a OpenAI ouviu falar que alguns problemas do Prêmio Millennium foram resolvidos usando LLMs e viu isso como uma oportunidade de demonstrar o poder de seu modelo mais recente, sem pensar muito sobre a ótica de recrutar uma equipe que vinha usando os próprios modelos da OpenAI para trabalhar nesse problema durante a maior parte do ano.

Esta situação parece refletir o que está acontecendo no mundo da segurança informática neste momento. Anil Madhavapeddy apontou recentemente que apenas um boato de um bug é suficiente para encontrar uma exploração de segurança hoje em dia, porque se alguém souber que algum software tem uma vulnerabilidade não corrigida, pode atribuir aos seus agentes a tarefa de encontrá-la. O mesmo acontece agora com a matemática? O simples fato de saber que existe uma solução não publicada para um problema pode gerar milhões de dólares em gastos com LLM para chegar lá primeiro.

Isso também destaca uma de minhas contínuas frustrações sobre como tudo isso funciona. Quando um laboratório de IA diz que meus dados são “usados ​​para melhorar o desempenho do modelo”, o que isso realmente significa?

Minhas duas perguntas hipotéticas favoritas sobre isso costumavam ser:

• Se eu estiver executando o Codex e uma das minhas chaves de API for acidentalmente consumida no contexto, quais são as chances de alguém solicitar uma chave de API no futuro e recuperar a minha? (Uma vez perguntei a alguém da OpenAI e eles chamaram isso de problema de “regurgitação” e me garantiram que se esforçam muito para evitar isso… mas não descreveram como.)
• Se eu fizer um brainstorming com o ChatGPT sobre possíveis novos rumos para minha empresa, qual é a chance de que as informações sejam expostas a um concorrente dentro de seis meses que pergunte “o que a empresa X planeja fazer a seguir”?

Minha nova hipótese preferida para isso é:

• Se eu usar o ChatGPT para me ajudar a resolver parcialmente um problema do Prêmio Millennium, quais são as chances de meu trabalho influenciar o treinamento de tal forma que um modelo posterior ajude alguém outro resolver isso primeiro?