De que hardware seu PC precisa para executar um modelo de IA local?

Baixe Ollama ou LM Studio, escolha um modelo e, em questão de minutos, você poderá começar a usar um chatbot local. Não há taxa de assinatura, funciona sem conexão com a Internet e nenhum dado sai do PC. Mas há um problema: o que você pode executar e a rapidez com que ele responde depende inteiramente da potência da sua máquina.

Seu PC comum com 16 GB de RAM será capaz de executar modelos relativamente pequenos com cerca de sete a oito bilhões de parâmetros. O Llama 3.1 8B da Meta, ou o Qwen3 8B do Alibaba ou uma placa gráfica com 8 GB de VRAM irão executá-los com uma rapidez decente. Mas esses modelos estão muito longe dos modelos de fronteira atuais, atrás do ChatGPT ou do Claude. Se quiser rodar algo mais próximo, você precisará de pelo menos 32 GB de memória e uma placa gráfica com 16 GB ou mais VRAM, o que, pelos preços de hoje, não sai barato.

A memória que um modelo precisa é dimensionada quase linearmente com seu tamanho, que é medido em bilhões de parâmetros (B). A maioria das pessoas executa versões compactadas (“quantizadas”) de modelos locais que armazenam cada parâmetro em cerca de quatro bits, reduzindo o modelo a aproximadamente um quarto de seu tamanho original. Na biblioteca de Ollama, isso coloca Llama 3.1 8B com 4,9 GB, Phi-4 da Microsoft com 9,1 GB, Gemma 3 27B do Google com 17 GB e Llama 3.3 70B da Meta com 43 GB. A regra geral de Ollama é que você precisa de 8 GB de RAM para um modelo 7B, 16 GB para 13B e 32 GB para 33B.

O gpt-oss-20b da OpenAI tem 21 bilhões de parâmetros, mas usa apenas 3,6 bilhões deles para cada token por meio de um design conhecido como “mistura de especialistas”. Isso torna tudo mais rápido, mas o modelo ainda precisa caber na memória disponível. OpenAI diz que funciona “com apenas 16 GB de memória”, mas com 14 GB em Ollama, isso é quase tudo de um PC de 16 GB.

Cada vez que um modelo gera uma palavra, ou mais precisamente um token, ele precisa ler todos os seus parâmetros. Como tal, a velocidade depende muito mais da largura de banda da memória do que do poder de processamento bruto. Os engenheiros da Nvidia descrevem esse estágio como “limitado à memória”. A VRAM de uma placa gráfica é várias vezes mais rápida do que a RAM do resto do seu PC, e é por isso que um modelo que cabe na sua GPU funciona muito mais rápido do que aquele que transborda para a memória do sistema.

Como regra geral, qualquer valor acima de cinco a 10 tokens por segundo acompanha a rapidez com que a maioria das pessoas lê. Nos testes LMSYS, descobriu-se que o RTX 5090 da Nvidia gera texto do gpt-oss-20b da OpenAI a 205 tokens por segundo. Enquanto isso, os benchmarks do llama.cpp colocam o chip M4 básico da Apple em cerca de 24 tokens por segundo em um modelo 7B. Ollama mediu o DGX Spark da Nvidia, o PC desenvolvedor de IA de US$ 3.999 que a Nvidia começou a vender no ano passado, a 38 tokens por segundo no Llama 3.1 8B, mas apenas 4,42 na versão 70B.

Eu pessoalmente executei o Mistral 7B em um Asus Zenbook Duo 2024 com 32 GB de RAM e um Intel AI Boost NPU. Através do Ollama, a Mistral aumentou o uso da CPU para 52% e o uso da memória para cerca de 17 GB. Isso é administrável por si só, mas paralisaria o laptop se algo mais exigente estivesse acontecendo. Em vez disso, executando o kit de ferramentas OpenVINO da Intel, o mesmo modelo manteve o NPU em 98 por cento enquanto a CPU ficava em 3 por cento, e o laptop permaneceu rápido e responsivo enquanto escrevia 2.500 palavras (absurdas) em cerca de três minutos.

Em Análise Artificial’ Na classificação de abril de 2026, Qwen3.5 27B do Alibaba da China obteve 42 pontos em seu índice de inteligência, no mesmo nível do GPT-5 da OpenAI em sua configuração média, enquanto Gemma 4 31B do Google obteve 39. Os principais modelos de nuvem de fronteira ficaram em 57, porém, e Qwen3.5 27B precisa entre 17 GB e 20 GB de memória, o que obviamente está além do que um PC de 16 GB precisa. dar.

Mas mesmo os PCs mais poderosos mal conseguirão arranhar a superfície do que a inteligência de ponta precisa. O Kimi K2.6 da Moonshot, um modelo de 1 trilhão de parâmetros que estava entre os melhores modelos de peso aberto quando foi lançado em abril de 2026, precisa de cerca de 600 GB de RAM e VRAM combinados para rodar a 4 bits, de acordo com Preguiçaque publica versões compactadas de modelos abertos. Seu sucessor, Kimi K3, marcou 57 pontos Artificial Análise’ índice de inteligência em julho de 2026, atrás apenas de Claude Fable 5 da Anthropic e GPT-5.6 Sol da OpenAI. Porém, com 2,8 trilhões de parâmetros, seu peso por si só chega a cerca de 1,4 TB, o que TECNOLOGIA as estimativas mal caberiam em um servidor de data center com oito GPUs.

Portanto, para um resumo privado estranho ou alguma ajuda de codificação offline, um PC de 16 GB é adequado. Para algo que você realmente usaria em vez de um chatbot na nuvem, você precisará de 32 GB de RAM ou uma placa gráfica de 16 GB. Só um kit DDR5 de 32 GB custa US$ 434, de acordo com Hardware do Tom Índice de preços de RAM, ou quase dois anos de assinatura ChatGPT Plus ou Claude Pro de US$ 20 por mês. Qualquer coisa próxima da fronteira, porém, é trabalho para um data center.