Codificação de nível principal em um modelo denso 27B

Qwen3.6-27B: Codificação de nível principal em um modelo denso 27B (via) Grandes afirmações de Qwen sobre seu mais recente modelo de peso aberto:

Qwen3.6-27B oferece desempenho de codificação de agente de nível principal, superando o carro-chefe de código aberto da geração anterior Qwen3.5-397B-A17B (397B no total / 17B de MoE ativo) em todos os principais benchmarks de codificação.

No Hugging Face Qwen3.5-397B-A17B tem 807 GB, este novo Qwen3.6-27B tem 55,6 GB.

Eu experimentei com a versão quantizada Unsloth Qwen3.6-27B-GGUF:Q4_K_M de 16,8 GB e llama-server usando esta receita de benob no Hacker News, após a primeira instalação llama-server usando brew install llama.cpp:

llama-server         
    -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M 
    --no-mmproj 
    --fit on 
    -np 1 
    -c 65536 
    --cache-ram 4096 -ctxcp 2 
    --jinja 
    --temp 0.6 
    --top-p 0.95 
    --top-k 20 
    --min-p 0.0 
    --presence-penalty 0.0 
    --repeat-penalty 1.0 
    --reasoning on 
    --chat-template-kwargs '{"preserve_thinking": true}'

Aqui está a transcrição de “Gerar um SVG de um pelicano andando de bicicleta”. Este é um fora do comum resultado para um modelo local de 16,8 GB:

Números de desempenho relatados por llama-server:

• Leitura: 20 fichas, 0,4s, 54,32 fichas/s
• Geração: 4.444 tokens, 2min 53s, 25,57 tokens/s