Matemáticos querem provas de que a OpenAI não usou seu trabalho

Outro pesquisador está desafiando a OpenAI sobre os dados que impulsionam sua gama cada vez mais impressionante de descobertas matemáticas. Poucos dias depois de ter surgido uma discussão acirrada sobre se os modelos da empresa beneficiavam de trabalhos não publicados, um segundo matemático apresentou-se acusando o gigante da IA ​​de comportamento antiético e “desonesto” e de falta de transparência sobre as origens dos seus dados de treino.

Em uma série de postagens no Mastodon, o matemático Andreas Thom levantou preocupações de que as interações que ele e seus colegas tiveram com o chatbot ChatGPT antes do anúncio triunfante da OpenAI possam ter contribuído para seu sucesso na área. Um dos 10 resultados que a OpenAI anunciou com grande alarde no mês passado envolveu a área de especialização de Thom, os chamados grupos não-sóficos, e a OpenAI reconheceu que o seu resultado se baseou fortemente em trabalhos anteriores de Thom e do colega matemático Gábor Kun.

Thom disse que começou a refletir sobre suas próprias interações com a OpenAI depois que Tristan Buckmaster, professor de matemática da Universidade de Nova York, questionou publicamente se os modelos de IA da empresa haviam se beneficiado do uso do Codex da OpenAI. Depois que a OpenAI anunciou o resultado de seus grupos não-sóficos, ela foi amplamente criticada nos círculos matemáticos por não reconhecer as contribuições recentes de Thom e Kun e a empresa alterou discretamente seu texto. Grupos não-sóficos são, grosso modo, estruturas matemáticas infinitas que não podem ser aproximadas por estruturas finitas.

Thom disse que também ficou impressionado com “o domínio detalhado de nossas técnicas pela OpenAI”, que, segundo ele, não eram os caminhos mais óbvios nem os mais promissores para uma solução na época. Ele disse que escreveu e-mails para os pesquisadores da OpenAI Sébastien Bubeck e Mark Sellke, também estatístico em Harvard, para perguntar se suas interações com o ChatGPT eram “parte dos dados de treinamento ou acessíveis ao processo de raciocínio” e poderiam, portanto, ter contribuído para o resultado.

Mas a resposta não satisfez Thom, que disse apenas abordar se as suas conversas com o chatbot poderiam ser acedidas diretamente, e não se tinham entrado nos vastos conjuntos de dados de formação que a empresa utiliza para melhorar os seus modelos. “Nenhuma qualificação, explicação ou evidência foi dada”, escreveu ele. “Eu considero isso uma desonestidade, para dizer o mínimo.”

Thom disse que os pesquisadores não estão equipados para fazer engenharia reversa do pipeline de treinamento da OpenAI para descobrir se seu trabalho foi usado ou não. “Apenas a OpenAI possui os dados relevantes para isso.” Se a empresa negar fazer isso, ele disse que é sua responsabilidade provar isso, divulgando todos os conjuntos de dados necessários e esclarecendo várias configurações e termos que definem como ela usa os dados.

A relutância da OpenAI em excluir conclusivamente qualquer utilização de dados de utilizadores ecoa a forma como defendeu o seu recente avanço no Prémio Millennium, tanto nas suas mensagens públicas como nas suas comunicações com Buckmaster – que estava a trabalhar nos problemas com o investigador antrópico Levent Alpöge a título pessoal. Na postagem do blog anunciando a solução Navier-Stokes, que diz respeito à movimentação de fluidos, a OpenAI negou categoricamente o uso de qualquer específico dados do usuário: “Nós (os pesquisadores e os agentes) não vimos nenhum de seus trabalhos por qualquer meio até que eles o divulgassem publicamente – em particular, nenhum dado específico do usuário foi acessado para resolver este problema.”

Mas não excluiria conclusivamente uma influência indireta: “Embora improvável, não podemos descartar que os dados anonimizados derivados do uso dos nossos produtos ajudaram a melhorar os nossos modelos⁠.” Thom disse que é a mesma distinção ofuscante que a empresa fez em suas comunicações com ele. “A desidentificação pode remover um nome; não remove o conteúdo intelectual de uma ideia matemática”, disse ele.

À luz dos acontecimentos recentes, Thom disse que “a resposta categórica de Sellke foi, no mínimo, injustificadamente ampla e materialmente enganosa; olhando para trás, foi claramente desonesta”.

Thom disse que “seria eticamente indefensável” se pesquisas não públicas fornecidas por usuários ajudassem a melhorar os modelos que a empresa usou para competir com esses mesmos usuários até a publicação, sem consentimento, divulgação adequada ou crédito.

OpenAI não respondeu imediatamente a A beirapedido de comentário.

Seus comentários aumentam o desconforto com a OpenAI nos círculos matemáticos, no que deveria ser um momento de triunfo para a empresa. A solução anunciada para um dos problemas lendários da matemática do Prémio Milénio é um feito extraordinário que, caso fosse verificado, poucos negariam. Mas isto foi complicado pelas circunstâncias incomuns que a OpenAI disse que a levaram a resolver o problema em primeiro lugar: ouviu rumores online de que outros investigadores tinham feito grandes progressos e pensou que iria tentar também.

O incidente em curso deixou um gosto amargo na boca dos matemáticos. Numerosos pesquisadores disseram A beira eles temem que um comportamento como esse leve o campo a um estado mais secreto se os matemáticos souberem que mesmo os rumores de que estão perto de um grande avanço poderiam desencadear uma corrida com um gigante da tecnologia com bons recursos e ansioso pela glória.