Maneiras de pensar sobre preços de tokens – Benedict Evans

Primeiro, quantas pessoas pagarão para estar no canto superior direito da curva – para estar na fronteira? Em um extremo, já existem casos de uso que já funcionam bem com um modelo pequeno, antigo, talvez de código aberto, que roda “gratuitamente” no local ou no seu telefone; no outro extremo, haverá alguns que obterão melhores resultados com o modelo de fronteira mais recente e mais caro, consumindo muitos tokens por muito dinheiro; e então haverá muitos que estão em algum lugar no meio. Então, quantos casos de uso obtêm melhores resultados ao subir na curva de custos, e quantos têm um ROI para isso, e quanto do uso é feito por modelos que são menores, mais baratos, bons o suficiente e muito mais comoditizados? A visão Panglossiana é que o ROI pode ir acima com modelos fronteiriços mais caros porque apresentam melhores resultados, mas onde isso realmente se aplica?

Em segundo lugar, a fronteira continua a mover-se significativamente? Esta é obviamente a questão científica mais básica na IA: durante quanto tempo é que a fronteira continua a melhorar, durante quanto tempo é que isso continua a necessitar de mais e mais computação, e será que isso continua a acontecer a um ritmo que a mantém à frente da pressão descendente dos preços resultante dos ganhos de eficiência e capacidade? A cara cabeça da curva continua a ser uma coisa?

Terceiro, ainda haverá uma concorrência acirrada entre os modelos de fronteira? Será que o campo se reduz a cada vez menos modelos de fronteira, talvez com o surgimento de efeitos de rede? Os modelos de fronteira divergem, com diferentes modelos tendo pistas muito mais claras em diferentes campos? Esse poderia ser outro caminho para o poder de precificação sustentável. Ou continuamos com um número médio de empresas que estão todas a criar modelos de fronteira com capacidades geralmente equivalentes? Neste momento, todos estão a utilizar basicamente a mesma ciência e os mesmos dados de formação, e a obter basicamente os mesmos resultados, e ainda não sabemos de um efeito de rede ou de qualquer outro efeito em que o vencedor leva tudo que permita a uma empresa avançar, manter-se à frente e fazer coisas que outras não conseguiriam, de uma forma sustentável. Isso muda?

Quarto, quanto do valor desses casos de uso de ponta é capturado pelo próprio modelo de fronteira? Quanto precisa ser envolvido em ferramentas, processos, dados proprietários, entrada no mercado, redes, suporte e tudo mais associado a uma empresa de software tradicional, mesmo que você precise do grande e caro modelo de fronteira subjacente? Esse modelo pode fazer tudo ou o modelo, não importa quão bom seja, ainda é uma peça de infraestrutura que você usa para fabricar o produto real? No extremo, será que o próprio modelo pode inventar e fabricar todas essas coisas, e isso permitiria que cobrassem por assento, por resultado ou apenas realizassem o lucro? Ou mesmo (ou especialmente) os casos de uso mais sofisticados e de alto valor precisam ficar dentro de centenas de novas empresas que podem escolher quais modelos usar?

Nenhum deles é binário: é tudo uma questão de grau e provavelmente variará bastante de acordo com o caso de uso. Mas em um extremo, há duas ou três mentes gigantes que administram metade de tudo e têm um enorme poder de precificação, e no outro extremo os LLMs parecem bancos de dados – haverá milhões deles, alguns muito grandes e outros muito pequenos, e o valor está no que você constrói em cima – afinal, toda empresa de SaaS é um ‘invólucro de banco de dados’. Há um futuro em que a Anthropic (ou uma empresa da qual ainda não ouvimos falar) ganha tudo e pode definir seus próprios termos, e um futuro em que dezenas de roteadores realizam leilões em tempo real para alocar suas tarefas em centenas de fazendas modelo de baixa margem e uma empresa de referência cobra uma taxa por cada uma delas.

Eu não acho que alguém possa realmente saber a resposta ainda. Eu já disse muito “não sabemos”, e isso é muito deliberado. Parte do conceito da “Curva S” é que há uma fase inicial no surgimento de uma nova tecnologia em que é claro que esta será enorme, mas nada mais está claro – meados da década de 1990 para a Internet, digamos, e 2008 ou 2009 para dispositivos móveis. Há lugares onde você pode ter uma opinião – por exemplo, argumentei longamente que acho que os chatbots são uma interface ruim que terá dificuldade para capturar valor na pilha – mas devemos presumir que há grandes questões que não podemos ver ainda, muito menos responder, e qualquer um que escolha um dos dez resultados possíveis que podemos ver e diga “será esse!” está apenas adivinhando.

Entretanto, existe uma incerteza estrutural nas fases iniciais de cada grande nova tecnologia, mas a incerteza agora é diferente, porque não temos uma boa compreensão teórica da razão pela qual estes modelos funcionam tão bem e por isso não sabemos até que ponto podem melhorar. Em 1995, não sabíamos como a Internet evoluiria, mas sabíamos que havia menos de 100 milhões de PCs no planeta (e eles eram caros) e que as empresas de telecomunicações não poderiam oferecer FTTH a todos no próximo ano; em 2010 não sabíamos qual seria o próximo iPhone mas sabíamos que não teria projeção retinal. Conhecíamos os limites físicos de maneiras que realmente não conhecemos nos LLMs. No próximo mês, uma nova abordagem poderá reduzir as necessidades de computação de inferência em 90%, ou dobrar a demanda, ou ambos.

Tudo isso faz com que as pessoas procurem padrões para reconhecer (na verdade, foi observado que todos conversas sobre IA terminam em uma busca por metáforas). Tornou-se comum fazer comparações com a fibra, que teve um enorme excesso na bolha Dotcom que se parece um pouco com a construção da infra-estrutura actual. O pequeno problema disto é que a construção de fibra estava muito à frente da procura, enquanto a construção de computação de IA está muito atrás da procura, embora, como acima, não saibamos como será esse equilíbrio entre oferta e procura no futuro. Mas a objeção mais relevante, penso eu, é que a construção de fibra era principalmente um custo fixo (cavar buracos) e não um custo marginal (mais equipamentos), enquanto o crescimento nas necessidades de computação significa que você precisa comprar mais computação.

Isso torna os dados móveis uma comparação mais frutífera aqui. As redes móveis têm um custo marginal de capacidade e, tal como a IA, tiveram um enorme aumento na utilização há 15 anos, o que sobrecarregou a capacidade e fez com que as operadoras se esforçassem para adicionar capacidade e reequilibrar os seus preços. Enquanto isso, a venda de bits parece superficialmente semelhante à venda de tokens: é uma medida opaca de custo marginal que não mapeia de forma transparente ou intuitiva os casos de uso ou o valor e precisa ser substituída por algum tipo de pacote. Mas o mais importante é que, nos últimos 20 anos, o tráfego de dados celulares aumentou várias ordens de grandeza, e esta tornou-se uma indústria enorme, com receitas anuais de um bilião de dólares e investimentos de 200 mil milhões de dólares, mas as acções não chegaram a lado nenhum e todo o valor foi capturado por outras pessoas mais acima na pilha. Esta, claro, é uma das questões centrais para a IA: será que esta será uma infra-estrutura de mercadorias com margens baixas, com todo o valor capturado por outras pessoas mais acima na pilha?