Lançamento: ttok 1.0
Eu lancei o ttok 0.4, executei uv tool upgrade ttokcanalizou um arquivo para a nova versão… e percebeu que ele estava padronizando para o tokenizer GPT-4, quando deveria claramente ser padronizado para GPT-5/GPT-6!
Achei que mudar o padrão era uma desculpa razoável para finalmente lançar um 1.0.
A OpenAI ainda não confirmou que o GPT-6 usa o mesmo tokenizer que a família GPT-5 – há um problema sério sobre isso – mas encontrei este commit de William Liu que relata um experimento que ele executou confirmando que os tokenizers são provavelmente os mesmos:
Todos os sete modelos GPT (5,5, 5,6 Sol/Terra/Luna, 6 Astra/Sol/Luna) relatam 44.794 tokens e combinam entre si em cada um dos 31 jogos. O GPT-6 não introduz nenhuma alteração na contagem de entrada neste corpus.
