Vals, apoiado por Andreessen Horowitz, busca se tornar o padrão ouro para benchmarking de IA

O benchmarking tornou-se a norma da indústria para a forma como as empresas de IA validam as capacidades dos seus modelos e, quando as métricas oscilam a seu favor, destacam-se dos concorrentes e anunciam a sua superioridade. Em outras palavras, bons benchmarks sempre significam boas relações públicas.

Infelizmente, as empresas também descobriram como enganar os sistemas de benchmarking legados – muitos dos quais são mais antigos e não foram construídos para medir as capacidades dos modelos modernos.

Vals, startup formada em 2024, afirma que tem a missão de consertar esse sistema tão imperfeito. Em menos de dois anos, a empresa estabeleceu-se como uma presença notável na indústria tecnológica e, no ano passado, conseguiu garantir uma ronda de sementes liderada pela 8VC e pela Bloomberg Beta. Então, no mês passado, após um período de rápido crescimento, arrecadou US$ 40 milhões em uma série A liderada por Andreessen Horowitz.

Rayan Krishnan, cofundador da empresa, de 25 anos, estagiou anteriormente na Palantir e, como estudante de graduação em Stanford, trabalhou para a Microsoft e para o muito elogiado laboratório de inteligência artificial da escola. Krishnan diz que Vals nasceu de suas próprias observações sobre como o benchmarking estava ficando para trás em relação aos avanços da indústria que foi projetado para medir.

“Estávamos vendo um monte de modelos novos e muito capazes chegarem rapidamente ao mercado, e os benchmarks acadêmicos (estavam) não acompanhando esse avanço de fronteira”, compartilha Krishnan. Com a IA sendo integrada em todas as partes da sociedade, deveriam realmente existir benchmarks para verificar se os modelos podem fazer o que as empresas anunciam que podem fazer, disse Krishnan.

Na semana passada, o jovem fundador me mostrou o escritório de dois andares de sua empresa na Folsom Street, em São Francisco – um antigo prédio de tijolos que, há um século, serviu de sede para uma grande cervejaria. Em vez de uma produção industrial de cerveja, a estrutura histórica é agora o lar de uma série de diferentes startups que procuram embarcar no futuro da indústria tecnológica.

“Historicamente, acho que a avaliação tem sido feita para avaliar a inteligência de uma forma muito abstrata”, diz Krishnan. “Tipo, os modelos sabem informações suficientes para serem capazes de fazer um teste do tipo exame da ordem?”

Aqui a Vals busca se diferenciar. Embora muitos sistemas de benchmarking ofereçam testes que estão disponíveis publicamente (isso pode permitir que uma empresa treine seu modelo com base nesses testes, possivelmente trapaceando em seu exame), Vals não divulga publicamente seus materiais de teste específicos. Em vez de medir o conhecimento geral de um modelo de IA, Vals também avalia os modelos quanto à sua capacidade de concluir tarefas complexas associadas a setores específicos, como direito, finanças e codificação.

“O que estamos fazendo é realmente observar quais são os impactos reais dos modelos”, disse Krishnan. “Eles podem realizar um trabalho que produza um produto com a mesma qualidade de um ser humano em todos os domínios?”

A ideia é verificar não apenas os resultados positivos, mas também os negativos, diz ele. A esperança é analisar como, “se estes modelos corressem soltos no mundo, quais seriam as implicações negativas”.

As capacidades que Vals está medindo estão crescendo. Além das indústrias mais tradicionais, a startup continua a avançar em terrenos mais exclusivos. “Temos uma referência em auto-aperfeiçoamento recursivo. Estamos fazendo algum trabalho em saúde mental, segurança cibernética, biossegurança e até mesmo direito de conflitos armados para criar modelos para entender como aplicar a Convenção de Genebra”, compartilha Krishnan.

As empresas pagam Vals para testar seus modelos, o que pode ser um conceito estranho para você entender. Por que uma empresa pagaria para saber que seu modelo não está funcionando bem? Mas ter uma medição eficaz ajuda as empresas a solucionar problemas e melhorar ao longo do tempo. Krishnan compara seu modelo de receita com a forma como um aluno pode pagar ao College Board para fazer o SAT.

Por sua vez, estas avaliações estão a tornar-se factores-chave de tomada de decisão para as empresas que procuram adquirir novos modelos de IA.

A startup revelou recentemente que sua receita é atualmente oito vezes maior que a do ano passado. Seu quadro de funcionários também está crescendo. Vals, que começou o ano com apenas oito pessoas, já triplicou para uma equipe de 25. Krishnan disse que à medida que a startup cresce, o plano é mudar para um escritório significativamente maior, além de contratar mais 10 a 15 pessoas. A empresa também lançou recentemente um programa centrado no fornecimento de avaliações de modelos para agências federais.

Krishnan vê o sistema de benchmarking de sua empresa como o futuro de como as empresas de IA pensam sobre o crescimento de seus negócios e o estabelecimento da confiança pública.

“As empresas de IA estão começando a abrir o capital. A SpaceX abriu o capital. A Anthropic está prevista para o final deste ano. Suspeito que a OpenAI se tornará pública em breve. Acho que, à medida que os modelos de IA se tornam uma parte central da economia e são difundidos de forma mais ampla, os tipos de benchmarks e avaliações que fazemos irão impulsionar seu uso e serão uma parte central de como essas empresas enviam registros públicos ou falam sobre os possíveis investimentos que farão em IA”, disse ele.