A vantagem da IA ​​da Nvidia vai além da GPU

Antes desta semana, a história dominante sobre a Nvidia era mais ou menos assim: durante os primeiros anos do boom da IA, a Nvidia era a única fonte de GPUs de última geração, que se tornaram imensamente lucrativas à medida que a indústria se expandia. Nos últimos anos, hiperescaladores como Amazon e Google começaram a construir seus próprios chips, e a Nvidia não é mais o único jogo disponível, levando muitos investidores a se perguntarem até que ponto sua vantagem realmente é durável.

É uma história convincente e principalmente verdadeira. Depois de aumentar sua capitalização de mercado em 10x entre o início de 2023 e meados de 2025, as ações da Nvidia seguiram uma trajetória mais modesta no ano passado, impulsionadas por preocupações com a concorrência de GPU.

Uma nova narrativa tomou forma desde os resultados da empresa na quarta-feira e os investidores estão começando a perceber que a vantagem da Nvidia vai muito além das GPUs. À medida que a computação da IA ​​cresce até a escala de gigawatts, a orquestração se torna uma tarefa cada vez mais complexa. Não é de surpreender que a Nvidia tenha construído grande parte do hardware de última geração necessário para lidar com isso, dando à empresa uma enorme vantagem nos sistemas que cercam a GPU, mesmo vendo uma concorrência crescente nas próprias GPUs.

Apesar de toda a conversa sobre a computação como uma mercadoria, ainda é incrivelmente difícil operar um data center em megaescala com eficiência máxima – e à medida que as implantações ficam maiores e mais rápidas, esse desafio só aumenta.

Rack por rack

Você pode ver um pouco disso apenas observando os detalhes do que a Nvidia está realmente vendendo. A empresa está atualmente lançando sua arquitetura Vera Rubin, que combina a GPU Rubin com uma coleção de outras unidades, incluindo a CPU Vera, o acelerador de inferência Groq 3 LPX e racks semelhantes para armazenamento e rede.

Na semana passada, conversei com o pessoal da Nvidia sobre o que esses sistemas realmente fazem e os resultados foram surpreendentes. Assim como a própria GPU Rubin, eles são sistemas extremamente especializados, mas em vez de gerar tokens, eles garantem que tudo fora da GPU funcione da maneira mais eficiente possível. Se a GPU é o motor, este é o resto do carro.

A CPU Vera em particular está focada no problema de orquestração de dados. “Vera é importante porque há um limite de memória que você pode colocar em um único servidor ou qualquer tipo de plataforma de computação”, disse-me Jason Hardy, vice-presidente de tecnologia de armazenamento da Nvidia.

À medida que os data centers aumentaram o poder computacional, a capacidade de memória também aumentou, e é por isso que empresas como a Micron enriqueceram na segunda onda do boom da infraestrutura. Mas levar esses dados para a GPU no momento certo não é simples – e à medida que as empresas procuram reduzir cada vez mais os tokens por watt, elas estão percebendo o quão importante é esse tipo de direção de tráfego.

“Vimos uma melhoria de mais de 3x nessas operações, onde a CPU Vera permite aceleração”, disse Hardy. “Portanto, agora podemos usar nosso flash em todo o seu potencial, porque podemos obter todo esse desempenho sem gargalos.”

Você pode ver versões do mesmo problema fora da Nvidia. Quando a OpenAI desenvolveu seu chip Jalapeño, o foco principal foi evitar totalmente esses desafios, minimizando a quantidade de dados que precisam ser movimentados.

“Projetamos o Jalapeño para minimizar a movimentação de dados e atrasos na comunicação”, disse a empresa em uma postagem no blog no início deste mês. “Seu grande domínio permite que toda a carga de trabalho permaneça dentro de um sistema conectado, minimizando a movimentação de dados e ajudando a solicitação completa a permanecer rápida e eficiente do início ao fim.”

É uma abordagem diferente, evitando totalmente a movimentação de dados conduzindo uma carga de trabalho dentro de um chip integrado. Mas a lógica geral é a mesma, aumentando a eficiência com um controle de tráfego mais inteligente, em vez de apenas mais ciclos de processador. Isso, por sua vez, abre toda uma nova camada de infraestrutura para as empresas competirem.

Este novo foco na orquestração de dados não é automaticamente uma vitória para a Nvidia. A empresa terá que competir com fabricantes de chips e hiperescaladores rivais, assim como fez com as GPUs. Mas a competição mudou para uma nova camada, onde construir uma GPU rival é menos importante do que ser capaz de fazer todo o sistema funcionar de forma eficiente.

E pelo menos nos estágios iniciais, a Nvidia parece ter uma liderança dominante.