Esses matemáticos russos ensinaram modelos de IA a conversar entre si sem usar palavras


Eu conheci recentemente com alguns matemáticos russos brilhantes que me mostraram uma forma de os modelos de inteligência artificial comunicarem através de algo semelhante à telepatia mecânica.

Os matemáticos trabalham para uma startup chamada Mostik – a palavra russa para bridge. É uma referência à abordagem do grupo, que permite que diferentes modelos interajam usando os valores matemáticos encontrados em seus pesos – as coisas que determinam como um prompt é transformado em uma saída. Na prática, isto significa que as capacidades de um modelo maior podem ser alimentadas a um modelo menor para aumentar a sua inteligência de forma muito mais eficiente.

A startup usou a abordagem para construir um modelo que atingiu o topo do ARC-AGI 3, uma competição notoriamente difícil para modelos de IA. (Eles não me contaram mais nada porque querem ganhar o concurso.) Para demonstrar a ideia, porém, eles também criaram uma ponte entre dois modelos chineses de peso aberto: a versão maior do GLM-5.2, que tem 753 bilhões de parâmetros; e uma versão de 4 bilhões de parâmetros do Qwen-3.5 que pode ser executada em um dispositivo móvel. O sistema híbrido resultante custa um vigésimo do modelo GLM completo e seu desempenho está exatamente no meio do caminho entre os dois.

“É bem sabido no aprendizado de máquina que conjuntos de modelos têm melhor desempenho do que modelos individuais”, disse-me Sasha Malysheva, CEO da Mostik, durante o café.

Malysheva, que desenvolveu a abordagem, compartilhou uma piada dentro da empresa: O futuro da IA ​​é semelhante a adivinhar o peso de um porco. Nos círculos matemáticos, é bem sabido que um punhado de pessoas aleatórias pode estimar com mais precisão o peso de um porco do que um especialista quando suas suposições são combinadas e calculadas a média.

Assim como observar o peso suíno em comunidade, combinar os resultados de vários modelos de IA geralmente produz melhores resultados. Normalmente, isso envolve alimentar o resultado de um modelo em outro, o que exige muito tempo e dinheiro. A equipe Mostik, no entanto, descobriu uma maneira de os modelos de IA conversarem entre si sem produzir saída de texto. Se decolar, poderá aumentar o valor dos modelos abertos, permitindo-lhes competir melhor com os modelos fechados e proprietários oferecidos por laboratórios de fronteira como Anthropic e OpenAI.

Malysheva diz que combinar vários modelos diferentes pode ser a melhor maneira de promover a IA. “Pessoalmente, não creio que teremos um modelo monolítico (no futuro) ou que as capacidades dos modelos virão do escalonamento”, disse-me ela, referindo-se à estratégia de tornar os modelos maiores e alimentá-los com mais dados.

“Se Mostik tornar possível emparelhar modelos de fronteira com modelos de domínio específico – como biologia, física e assim por diante – muitos mais modelos especializados seriam treinados”, diz Vladimir Arustamian, líder tecnológico da empresa de software de IA Lovable, que conhece a equipe Mostik. “Esta equipe está nisso há alguns meses e já tem algo em andamento que eu imaginaria que ainda faltaria anos.”

A técnica Mostik significa que “você pode aproximar-se da qualidade de um modelo grande sem que o modelo grande lide com todo o ciclo, proporcionando melhorias substanciais com apenas um modelo menor rodando ao lado”, diz Karl Tuyls, ex-cientista da computação do Google DeepMind que está familiarizado com a tecnologia da empresa. O método é óbvio para qualquer pessoa encarregada de executar modelos da maneira mais eficiente possível, diz Tuyls.

Stanislav Smirnov, professor da Universidade de Genebra e medalhista Fields em 2010, é o cientista-chefe de Mostik. Ele diz que encontrar um terreno comum entre dois modelos de IA é surpreendentemente difícil. “Parece ainda não haver uma linguagem matemática apropriada”, diz ele. Nesse ínterim, a abordagem de Mostik é uma forma de preencher literalmente a lacuna.



Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo