Codificação de nível principal em um modelo denso 27B

Codificação de nível principal em um modelo denso 27B


22 de abril de 2026 – Link Blog

Qwen3.6-27B: Codificação de nível principal em um modelo denso 27B (via) Grandes afirmações de Qwen sobre seu mais recente modelo de peso aberto:

Qwen3.6-27B oferece desempenho de codificação de agente de nível principal, superando o carro-chefe de código aberto da geração anterior Qwen3.5-397B-A17B (397B no total / 17B de MoE ativo) em todos os principais benchmarks de codificação.

No Hugging Face Qwen3.5-397B-A17B tem 807 GB, este novo Qwen3.6-27B tem 55,6 GB.

Eu experimentei com a versão quantizada Unsloth Qwen3.6-27B-GGUF:Q4_K_M de 16,8 GB e llama-server usando esta receita de benob no Hacker News, após a primeira instalação llama-server usando brew install llama.cpp:

llama-server \        
    -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M \
    --no-mmproj \
    --fit on \
    -np 1 \
    -c 65536 \
    --cache-ram 4096 -ctxcp 2 \
    --jinja \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --presence-penalty 0.0 \
    --repeat-penalty 1.0 \
    --reasoning on \
    --chat-template-kwargs '{"preserve_thinking": true}'

Aqui está a transcrição de “Gerar um SVG de um pelicano andando de bicicleta”. Este é um fora do comum resultado para um modelo local de 16,8 GB:

Codificação de nível principal em um modelo denso 27B

Números de desempenho relatados por llama-server:

  • Leitura: 20 fichas, 0,4s, 54,32 fichas/s
  • Geração: 4.444 tokens, 2min 53s, 25,57 tokens/s



Source link

Postagens Similares

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *