TransmissãoGemma
TransmissãoGemma (via) Em maio passado, o Google lançou brevemente um modelo experimental Gemini Diffusion. Tentei a visualização na época e gravei rodando a 857 tokens/segundo. Era um modelo interessante, mas o Google não fez mais anúncios sobre ele.
Essa pesquisa retornou da melhor maneira possível: como um novo modelo Gemma de peso aberto (licenciado pelo Apache 2), google/diffusiongemma-26B-A4B-it.
Atualmente, a NVIDIA está hospedando o modelo gratuitamente em sua API de nuvem NIM. Usei essa API para gerar esse pelicano, que demorou 4,4s (de acordo com time uv run generate.py) para retornar 2.409 tokens – portanto, pelo menos 500 tokens/segundo.
