Um novo tipo de modelo de IA de um inventor do ChatGPT está entusiasmando os desenvolvedores

O ChatGPT partiu o coração de Diogo Almeida.

Almeida foi um pesquisador da OpenAI que ajudou a construir o chatbot e depois a inventar a aprendizagem por reforço a partir do feedback humano (RLHF), a técnica de treinamento de modelo talvez a mais responsável pela nossa era atual de IA. Mas apesar das suas capacidades, ele ficou desapontado.

“Temos um raio numa garrafa, mas não é útil”, disse Almeida ao TechCrunch. “Tenho lutado contra esse problema desde então. Levei um tempo para chegar à conclusão: o problema é que estamos otimizando para a linguagem humana… Somos muito bons em linguagem humana há quatro anos, mas ela não é útil para automação porque os computadores falam uma linguagem diferente.”

Há dois anos, Almeida deixou a OpenAI para fundar a TypeSafe AI, uma startup que tenta resolver esse problema. Esta semana, a empresa lançou um novo modelo baseado em transformador, Jev, que não é um modelo de linguagem grande (LLM). Ele não produz texto, mas produz probabilidades, ou o que a empresa chama de “decisões calibradas”.

Evitar a linguagem faz algumas coisas: torna o modelo incrivelmente barato e rápido e, como os usuários definem os resultados com antecedência, ele não pode ter alucinações. Seus tokens de saída são gratuitos e os tokens de entrada são medidos em bilhões, não em milhões.

Os desenvolvedores estão tendo grande interesse no produto; a empresa perdeu brevemente a capacidade de atender usuários a partir de sua API porque a demanda era muito alta. Jev parece mais útil para automação de software. Até agora, os desenvolvedores de software veem isso como uma forma mais barata e robusta de incorporar inteligência em seu código.

Por exemplo, Pranit Sharma, engenheiro de software da Vercel, uma empresa que fabrica infraestrutura de agentes, disse que sua empresa usou o ChatGPT Luna 5.6 da OpenAI para executar um classificador para revisar comandos de segurança. Quando Vercel substituiu Luna da OpenAI por Jev, obteve resultados de cinco a 18 vezes mais rápido e com maior precisão.

Outro desenvolvedor, Nikhil Mudholkar, CTO da Bryo AI, testou Jev contra Gemini para classificar e-mails comerciais. Em seu teste, o Gemini foi um pouco mais preciso, mas de 10 a 20 vezes mais caro. Mais interessantes para Mudholkar foram as pontuações de confiança de Jev – “é o único que devolve uma probabilidade real que o torna ideal para automatizar fluxos de trabalho!”

Além de substituir os LLMs em determinados casos de uso, o novo modelo também pode aumentá-los, agindo como uma verificação inteligente de mau comportamento. Usar agentes para monitorar agentes pode rapidamente se tornar caro, mas usar Jev para fazer isso, argumenta Almeida, faz sentido. Ele vê usuários implantando Jev para rastrear rastreamentos de agentes LLM e evitar jailbreaks.

“No final das contas, ele delega um pouco o problema da alucinação ao usuário”, explicou Armin Ronacher, CTO da Earendil, que constrói o modelo de código aberto aproveitando o Pi. “O usuário tem que dizer, ok, se isso acontecer apenas com 50% de probabilidade, talvez seja um cara ou coroa, e eu desconsidero isso. Mas se for 95%, claro, então posso fazer algo com isso.”

Outro uso potencial para Jev é o roteamento de modelo, disse Ronacher. Prever se uma determinada carga de trabalho requer um modelo específico seria útil, mas usar um LLM para o trabalho seria caro. O baixo custo e a velocidade do Jev tornam possível esse tipo de classificação em tempo real.

E essa é a esperança de Almeida. O modelo tem o nome de William Stanley Jevons, o economista do século XIX cujo paradoxo homónimo descreve como a queda do custo de uma mercadoria pode levar a que esta seja cada vez mais utilizada. Neste caso, a queda do custo da inteligência deverá levar à sua implantação generalizada.

“Acreditamos que haverá software inteligente em todos os lugares, de uma forma emergente e distribuída… muito mais parecido com a Internet dos primórdios do que com os megaaplicativos que as pessoas estão tentando construir agora”, disse Almeida.

Almeida é discreto sobre a arquitetura do modelo, que observadores externos suspeitam que seja construído sobre um LLM aberto. A empresa se refere a Jev como um “modelo System One”, focado na intuição em vez do raciocínio, e focado especificamente na tarefa certa. Almeida diz que Jev é treinado exclusivamente em dados sintéticos, usando uma técnica que ele chama de “aprendizado por reforço a partir de decisões calibradas”.

“Fizemos uma aposta inicial de que utilizaríamos todos os nossos dados, e essa foi uma das melhores apostas que já fiz na minha vida – melhor que o nosso lançamento, na minha opinião, melhor que o RLHF”, disse ele ao TechCrunch. “Metade (da nossa empresa) é um laboratório que basicamente possui todo esse subcampo de dados sintéticos estatisticamente bem compreendidos, e essa agora é a alegria da minha vida.”

Por enquanto, Jev é o único modelo desse tipo, mas Ronacher espera que surjam concorrentes agora que sua utilidade é aparente.

“Devíamos ter visto isto antes em muitos aspectos, mas presumivelmente porque os LLMs são tão baratos e subsidiados, muitas vezes ainda não é preciso ser criativo”, disse ele.

A própria TypeSafe estará construindo mais versões do modelo, em novas modalidades. Questionado se o TypeSafe é um laboratório de fronteira, Almeida disse: “o principal produto dos laboratórios de fronteira é o medo ou o exagero. Gostaria que o nosso principal produto fosse a inteligência… (mas somos) não um laboratório no sentido de, você sabe, apostar na riqueza infinita, ou numa religião, ou construir Deus num centro de dados, ou o que quer que seja hoje em dia”.