O maior benchmark em IA acaba de ser atualizado, desferindo um grande golpe em um concorrente chinês
Na semana passada, Kimi K3.1 Pro, um LLM da empresa Moonshot AI, com sede em Pequim, na China, estreou com uma quantidade surpreendente de alarde, especialmente se você se preocupa com benchmarks, que pretendem ser medidas padronizadas para as capacidades dos modelos. Ele alcançou um quarto lugar muito respeitável – na verdade um tanto chocante – no famoso benchmark de Análise Artificial chamado Intelligence Index v4. Ele também conquistou o primeiro lugar no Terminal Bench 4.0 da Artificial Analysis, que é focado no uso do computador.
O sucesso do Kimi K3.1 Pro foi um pequeno terremoto no mundo da IA. O Decoder destacou que se tivesse divulgado publicamente os pesos dos seus modelos na sua estreia, teria sido o modelo de peso aberto com maior pontuação por uma ampla margem – para não mencionar o modelo chinês com maior pontuação. “Isso reduziria a diferença entre os modelos abertos e proprietários de 12 para apenas 3 pontos”, escreveu o Decoder.
Mas isso nunca aconteceu tecnicamente e, na terça-feira, a Artificial Analysis anunciou uma nova versão de seu Índice de Inteligência chamada Índice de Inteligência v5. A Artificial Analysis chamou-a de “nossa maior atualização desde o lançamento da v4 em janeiro”. 60% do novo teste aparentemente envolve perguntas de teste privadas, ou “respostas ocultas”, de acordo com a Análise Artificial. Ambos os conceitos apontam para a Análise Artificial que busca conter o “benchmaxxing”, a prática de preparar modelos para avaliações alimentando-os com velhas questões disponíveis online em repositórios como Github e (famosamente) Hugging Face.
O efeito foi devastador para a classificação do Kimi K3.1 Pro. Caiu do 4º lugar para o 9º lugar. A própria Análise Artificial apontou no anúncio do novo Índice que “A diferença de pesos abertos aumenta de 3 pontos para 12”. Novamente, Moonshot ainda não divulgou os pesos do modelo, e só o fará no dia 4 de novembro. Mas, em espírito, foi um retorno à normalidade para os modelos do mundo dos pesos absolutos.
O Gemini 4 Carbon do Google é o novo número 1 no Índice de Inteligência de Análise Artificial v5, perdendo apenas para Claude Opus 5.5 no Índice de Agente de Codificação de Análise Artificial
Gemini 4 Carbon obteve pontuação 59 no Índice de Inteligência v5, impulsionado pelo desempenho líder em raciocínio complexo,… pic.twitter.com/gSH65FSKzL
– Análise Artificial (@ArtificialAnlys) 28 de outubro de 2026
O breve momento ao sol de Kimi K3.1 Pro não criou nada do pânico apocalíptico do lançamento do DeepSeek em janeiro do ano passado. Ainda assim, foi um obstáculo surpreendente para os críticos da abordagem chinesa do peso aberto. A Antthropic, em particular, parece preocupar-se com o facto de os pesos abertos serem um perigo para o público, escrevendo num relatório sobre um desses modelos que, uma vez que foi “lançado como um modelo de peso aberto, os utilizadores podem reconfigurá-lo para remover as suas recusas com poucas alterações nas suas capacidades”.
A Anthropic também denuncia frequentemente a prática extrativa de destilação modelo, na qual os modelos de peso aberto muitas vezes dependem para aumentar suas capacidades. O CEO da Nvidia, Jensen Huang, rejeitou isso, dizendo que a destilação é apenas uma competição.
Um dia após o lançamento do Índice de Inteligência v5, houve um novo campeão para acompanhar o novo índice. O Gemini 4 Carbon do Google, que foi avaliado, mas não lançado, já estava em primeiro lugar quando foi anunciado na quarta-feira, e o Google destacou esse fato em seu blog sobre o modelo. A segunda frase do anúncio diz: “O carbono ocupa o primeiro lugar na versão 5.0 recentemente atualizada do Índice de Inteligência de Análise Artificial, em 59º lugar”.
Pode haver outras explicações para a queda no desempenho dos modelos da Moonshot, bem como de outros modelos chineses. O físico Stephen Hsu escreveu no X que acreditava que os modelos norte-americanos os superavam em desempenho em matemática e ciências. “Tenho conversado com muitos laboratórios chineses recentemente e eles não deram nenhuma prioridade a esta área”, escreveu ele.
A Análise Artificial, por sua vez, não é um órgão padronizador ou uma instituição acadêmica. É uma empresa privada fundada, ao que parece, em 2023, o que a torna impressionantemente influente para uma empresa tão jovem.
