Qual é a diferença entre TPU e TPU? GPU?

Primeiro, tínhamos CPU e GPU. Depois veio a Unidade de Processamento Acelerado (APU, se você for desagradável) da AMD. E com o advento do AI PC e dos smartphones, demos as boas-vindas à NPU (Unidade de Processamento Neural). Mas agora, graças ao Google, estamos recebendo mais um chip: o TPU. Implantado internamente pela primeira vez pelo Google em 2015, o TPU, ou Tensor Processing Unit, é o acelerador de IA proprietário da empresa projetado para lidar com todos os cálculos matemáticos complexos necessários para cargas de trabalho de inteligência artificial e aprendizado de máquina (ML). Projetado para aplicativos baseados em nuvem, o TPU é usado principalmente para data centers. No entanto, esse termo apareceu recentemente no novo smartphone Pixel 11 por meio de seu chip Google Tensor G6, que, segundo a empresa, contém “50% mais computação TPU”.

Então, qual é? A resposta é confusa para ambos. Nos smartphones da série Pixel 11, o TPU é basicamente a maneira sofisticada do Google de dizer NPU. Esta versão de uma TPU lida com o processamento de câmeras e imagens, bem como com tarefas locais de IA. Mas o TPU do data center é decididamente diferente de uma versão para smartphone, um NPU tradicional e uma GPU, embora existam algumas semelhanças. Para ajudar a manter a linguagem do chipset correta, estamos aqui para apresentar formalmente a TPU real e esclarecer alguns dos equívocos.

Ótima pergunta. Um TPU é um chip criado pelo Google para lidar com tarefas de IA e aprendizado de máquina baseadas em nuvem nos data centers da empresa. Conhecido como acelerador de IA, um TPU é otimizado para realizar milhões de cálculos matemáticos em tempo real em modelos de IA, algo que NPUs e GPUs também fazem.

Temos falado muito sobre IA e ML, o que para muitos de nós colocará em ação um NPU. Como deveria ser, já que fomos espancados com eles ad nauseum graças à Apple, aos vários fabricantes de PCs e smartphones e aos fabricantes de chips. Se você não conhece, NPUs são os chips que você encontrará em todos os seus smartphones, Macs e PCs modernos. Eles fazem todo o trabalho pesado para suas tarefas de IA generativas e de agência, seja apagando um ex de uma foto ou usando ChatGPT para construir um itinerário de viagem de três dias. Para os telefones Pixel 11, a TPU substitui o NPU, com o Google alegando “processamento de IA até 3,5 vezes mais rápido e usando até 3,5 vezes menos energia”.

As GPUs são familiares para muitos de nós, especialmente se você é um jogador ou trabalha com modelos 3D. Antes da IA, queríamos uma GPU poderosa para rodar jogos graficamente exigentes, como Crise 3 nas configurações mais altas com taxas de quadros incríveis e renderização suave e amanteigada. Após a IA, as GPUs ainda fazem isso, além de lidar com o treinamento de IA e a mineração de criptografia, por isso as melhores custam um braço, uma perna e um primogênito. Um pau para toda obra, uma GPU pode fazer muitas coisas bem, dependendo de quão poderosa ela é.

O que diferencia esses chipsets são, em grande parte, os casos de uso e a escala. Embora as TPUs sejam usadas para IA baseada em nuvem em execução nos data centers do Google, NPUs, TPUs e GPUs no dispositivo podem ser encontradas em seus smartphones e laptops.

As TPUs têm, de longe, a maior escala. Graças à sua arquitetura especializada, uma TPU é empregada na aceleração de cálculos massivos usados ​​em LLM (Large Language Models) e tarefas massivas de aprendizado profundo (DL). As TPUs utilizam um layout de hardware chamado matriz sistólica que permite que os dados passem de uma unidade para outra em uma grade 2D de multiplicadores, o que ajuda a eliminar possíveis gargalos. Isso significa que a saída do cálculo se torna a entrada para a próxima unidade sem a necessidade de gravar de volta na memória, ao contrário das GPUs, que ficam presas no malabarismo com dados entre suas unidades de computação e sua memória de alta largura de banda.

Ao atender grandes empresas de IA, como Anthropic e Midjourney, que atendem bilhões de solicitações de IA diariamente, depender de uma solução baseada em GPU pode ser caro em termos de gargalos, latência e eficiência energética. Como uma TPU não alterna entre leitura e gravação na memória, ela é mais adequada para treinar redes neurais em grande escala e outras cargas de trabalho massivas.

Vivendo em nossos smartphones, IoT e laptops, as NPUs e as TPUs no dispositivo do Google são relegadas à parte rasa do pool de IA/ML. Eles são otimizados para tarefas de baixo consumo de energia, por isso são perfeitos para coisas como efeitos de câmera e tradução em tempo real. Uma TPU pode fazer um LLM, mas tem que ser local pequeno e muito bem definido.

“Melhor” é relativo. Cada acelerador de IA é melhor em um caso de uso específico. NPUs e TPUs no dispositivo são melhores para lidar com tarefas menores de IA convencionais. Seu baixo consumo de energia significa que eles não serão um grande atrativo para seu smartphone, laptop ou smartwatch. No entanto, ele tem força suficiente para fazer tradução em tempo real, desfocar o fundo durante uma chamada ou ajudá-lo a lembrar daquele programa obscuro que você jurou ter visto nos anos 90.

TPUs são a solução econômica e energeticamente eficiente que ajuda a executar o programa de IA/ML/DL globalmente. Processar milhões de cálculos matemáticos enquanto treina modelos de ML e DL em grande escala significa que as TPUs são exclusivamente para grandes data centers. Com sua flexibilidade inata, as GPUs podem assumir cargas de trabalho de IA de pequena e grande escala, bem como executar jogos, editar vídeos e executar simulações. Se você deseja executar LLMs locais, uma GPU robusta é a melhor opção.