O que um NPU faz e por que tantos laptops os possuem?

Quase nada usa ainda.
Comprou um novo laptop recentemente? Provavelmente, ele está equipado com um NPU, um chip que você quase certamente não usa. A NPU, ou Unidade de Processamento Neural, é um bloco de silício que executa cargas de trabalho de IA com uma fração da energia que uma CPU ou GPU precisa. Aproximadamente 2 W em comparação com bem mais de 100 W que os gráficos discretos de laptop padrão precisam para fazer o mesmo trabalho. Embora ainda não sejam encontrados em todos os laptops, agora são praticamente padrão em máquinas intermediárias e premium.
A empresa de consultoria Gartner avalia que os PCs com capacidade de IA, como esses laptops equipados com NPU, representam mais da metade do total das remessas globais. A razão pela qual estamos vendo isso não é porque os compradores desejam ou precisam deles, mas para se alinharem aos requisitos de certificação. Em 2024, a Microsoft praticamente ditou que os fabricantes de laptops precisariam atingir 40 TOPS (a medida da rapidez com que um NPU pode mastigar a matemática da IA) de desempenho de NPU dedicado com novas máquinas, ou correriam o risco de perder o acesso aos novos recursos de IA do Windows. Como resultado, o hardware NPU está saindo das prateleiras, mas o software está ficando para trás.
NPUs são usados para inferência de IA
A função de uma NPU é acelerar a inferência. Essa é a fase “executar este modelo”, em vez da fase “treinar este modelo” alimentada por GPU. As redes neurais dependem fortemente de dois tipos de computação para fazer isso: multiplicação de matrizes e funções de ativação não linear. As NPUs são desenvolvidas especificamente para executar essas operações da maneira mais rápida e eficiente possível, mas isso custa alguma flexibilidade de CPU e GPU de uso geral.
Vamos considerar o exemplo do uso do desfoque de fundo em uma videochamada. A maioria de nós já usou isso e pode ser executado em uma CPU ou GPU. Mas ambos consomem muita energia, gerando calor e diminuindo a vida útil da bateria em um portátil fino. Uma NPU realiza o mesmo trabalho usando uma fração da energia, de modo que recursos como efeitos de webcam podem funcionar continuamente sem descarregar a bateria ou ligar os ventiladores.
Obviamente, NPUs não são bons para treinar modelos de IA e, para executar grandes LLMs locais como o Llama 70B, você ainda precisará de uma GPU discreta com uma boa quantidade de memória de vídeo. Eles também não são necessários para serviços como ChatGPT ou Gemini porque são executados na infraestrutura do provedor. Seu caso de uso real, pelo menos por enquanto, é um pequeno número de casos de uso sempre ativos e de baixo consumo de energia, como efeitos de webcam, supressão de ruído, tradução em tempo real e indexação de pesquisa local.
Como saber se o seu laptop tem um NPU
A razão pela qual vemos tantos laptops com NPUs é a certificação Copilot + PC da Microsoft. Os fabricantes de laptops só podem ganhá-lo e desbloquear certos recursos de IA do Windows no dispositivo se seus laptops tiverem um NPU de 40 TOPS, além de 16 GB de RAM e 256 GB de armazenamento. Esse número de 40 TOPS também deve vir do NPU, não de uma GPU; um laptop de gama média RTX 4050 oferece mais de 190 TOPS de seus núcleos tensores. Isso não conta.
Os chips Snapdragon X Elite e Plus da Qualcomm foram os primeiros a serem comercializados com um NPU Hexagon de 45 TOPS. Isso foi logo seguido pelo Lunar Lake da Intel com até 48 TOPS e pelo Ryzen AI 300 da AMD com 50 TOPS. Os processadores Panther Lake mais recentes da Intel, conhecidos como Core Ultra Series 3, vêm com 50 NPU TOPS no processo 18A da Intel. No final deste ano, a Qualcomm aumentou esse número para até 85 TOPS com o Snapdragon X2 Elite, mais que o dobro do mínimo especificado pela Microsoft. Cada geração aumentou o número, embora o software para consumir esses TOPS continue escasso. Em breve, os laptops com IA poderão ser a única opção disponível, tornando os NPUs inevitáveis. Já vimos a Dell colocar um NPU de nível empresarial em seu laptop Pro Max Plus.
Se você tiver um laptop equipado com NPU, poderá ver sua taxa de utilização por meio do Gerenciador de Tarefas no Windows 11. No meu laptop – um ASUS Zenbook Duo UX8406 2024 em uma configuração de 32 GB de RAM – isso é zero, e imagino que seja o caso em todas as máquinas de usuários casuais.
Infelizmente, a lista de aplicativos que dependem do NPU permanece curta: Windows Studio Effects, Live Captions, Recall e Click to Do, Teams e Zoom supressão de ruído e alguns recursos da Adobe Creative Cloud.
Uma NPU em ação
Para ver quanto dos meus 34 TOPS Intel AI Boost NPU um modelo local consumiria, baixei o Mistral 7B, um modelo de código aberto bastante decente e eficiente, e executei-o por meio do kit de ferramentas OpenVINO da Intel. Pedi então que gerasse 2.500 palavras em unidades de processamento neural.
Embora minha máquina tenha 34 TOPS de plataforma combinados em CPU, GPU e NPU, apenas 11 são dedicados ao NPU. O Mistral 7B fixou o NPU em 98 por cento, enquanto a CPU ficou em três por cento. A geração de texto funcionou e, embora 11 TOPS não deixe muito espaço para um modelo desse tamanho, meu laptop permaneceu rápido e responsivo.
Você pode ver como isso se compara à execução do mesmo modelo local fora da NPU usando Ollama. A utilização da CPU saltou para 52 por cento com o uso de memória mantendo cerca de 17 GB da minha capacidade de 32 GB. Se eu estivesse executando outras cargas de trabalho com uso intensivo de CPU, meu laptop teria parado. Esse é o objetivo de uma NPU: ela lida com uma carga de trabalho de IA sem impactar o restante do sistema. Mas foi necessário um kit de ferramentas específico e conhecimento técnico para chegar lá neste caso; muito pouco software oferece suporte nativo.









