Quantização desde o início
26 de março de 2026 – Link Blog
Quantização desde o início. Sam Rose continua sua série de publicações de ensaios interativos espetacularmente informativos, desta vez explicando como funciona a quantização de grandes modelos de linguagem.
Também está incluída a melhor explicação visual que já vi sobre como os números de ponto flutuante são representados usando dígitos binários.
eu não tinha ouvido falar valores discrepantes na quantização – valores flutuantes raros que existem fora da distribuição normal de valores minúsculos – mas aparentemente são muito importantes:
Por que esses outliers existem? (…) tl; dr: ninguém sabe de forma conclusiva, mas uma pequena fração desses valores discrepantes são muito importante para a qualidade do modelo. Removendo até mesmo um solteiro “superpeso”, como a Apple os chama, pode fazer com que o modelo produza um jargão completo.
Dada a sua importância, os esquemas de quantização do mundo real às vezes fazem um trabalho extra para preservar esses valores discrepantes. Eles podem fazer isso não quantizando-os ou salvando sua localização e valor em uma tabela separada e, em seguida, removendo-os para que seu bloco não seja destruído.
Além disso, há uma seção sobre Quanto a quantização afeta a precisão do modelo? Sam explica os conceitos de perplexidade e ** divergência KL ** e, em seguida, usa a ferramenta de perplexidade llama.cpp e uma execução do benchmark GPQA para mostrar como diferentes níveis de quantização afetam o Qwen 3.5 9B.
Sua conclusão:
Parece que 16 a 8 bits quase não acarreta nenhuma penalidade de qualidade. De 16 a 4 bits é mais perceptível, mas certamente não é um quarto tão bom quanto o original. Mais perto de 90%, dependendo de como você deseja medi-lo.
