Deixei uma ponta solta outro dia quando disse que IA tem a ver com intenção e contexto.
Foi quando eu disse qual é o contexto no momento da inferência são dados de treinamento valiosos se forem registrados.
Mas deixei por isso mesmo e não entendi por que os dados de treinamento são valiosos.
Acho que muitas vezes apenas desenhamos uma seta reta “coletar dados de treinamento,” como ingerir páginas da Wikipedia ou ver o que as pessoas estão dizendo ao chatbot, para “agora o modelo de IA é melhor e, portanto, vence.”
Mas acho que vale a pena pensar no que essa flecha realmente significa. Tipo, qual é o mecanismo aqui?
Agora, tudo isso é apenas meu modelo mental para o que está acontecendo.
Com essa ressalva:
Na minha opinião, a empresa de IA que definiu uma era é a primeira a fechar dois ciclos de autoaceleração.
Ambos têm a ver com dados de treinamento. A primeira é a teoria geral; o segundo é específico.
Dados de treinamento para capitalismo de plataforma
Quando digo empresas que definem uma era, para mim há uma ideia que define uma era, ou pelo menos uma eradescrevendo, e esse é o conceito de capitalismo de plataforma de Nick Srnicek (Amazônia).
É a lógica que sustenta o sucesso do Uber, do Facebook, da Amazon, da pesquisa do Google (e, no futuro, do Waymo).
Já falei sobre capitalismo de plataforma antes (2020), mas em poucas palavras, Srnicek descreve um processo pelo qual
- essas empresas criam um mercado que reúne compradores e vendedores
- eles coletam dados sobre o que os compradores desejam, o que os vendedores têm, como eles decidem uns sobre os outros (custos de marketing) e como as decisões são finalizadas (custos de transação).
- em seguida, use esses dados para (a) aumentar a velocidade da atividade do mercado e (b) expandir o mercado em geral
- coletando assim dados mais rapidamente, aumentando a eficiência e o tamanho do mercado mais rapidamente, coletando dados mais rapidamente… e assim por diante, um ciclo descontrolado.
A tal ponto que em 2012 a Amazon registrou uma patente sobre remessa antecipada em 2012 (TecCrunch) em que, se você demonstrar forte intenção de comprar abas para lavanderia, eles as colocarão em um caminhão e as levarão até sua porta, abortando a entrega apenas se você não clicar no botão Comprar agora.
E também é assim que o Uber funciona, certo?
O Uber tem um algoritmo de correspondência melhor do que manter a empresa local de minitáxi na discagem rápida do seu telefone, que só funciona quando você está em sua casa, e o aumento de preços move os motoristas para pontos de acesso em antecipação à correspondência com os passageiros.
E é assim que funciona a pesquisa do Google.
Eles veem o que as pessoas clicam e usam isso para melhorar o algoritmo que impulsiona a atividade do mercado, e o custo das palavras-chave do AdSense incentiva novos participantes, o que aumenta o tamanho do mercado.
Então, como a eficiência e o tamanho do mercado se traduzem, digamos, no ChatGPT?
O ChatGPT pode ver o que significa sucesso para um “comprador” (um usuário do ChatGPT).
Eles geram uma resposta; os usuários respondem bem a isso ou não? (No entanto, isso é medido.)
Assim, esses dados de uso se tornam dados de treinamento para melhorar o modelo e preencher a lacuna entre a intenção do usuário e a transação.
No momento, o próprio ChatGPT é o “vendedor”. Para fechar totalmente o ciclo, eles precisarão se abrir para outros vendedores e o próprio ChatGPT fará a transição para ser o formador de mercado (e receber uma parte das transações).
E você pode ver esse processo com o novo recurso de compras OpenAI, certo?
Este é o modelo para todos os tipos de produtos de aplicativos de IA: qualquer coisa que as pessoas queiram, qualquer atividade, se houver uma transação no final, o modelo aproximará compradores e vendedores – eficiência do mercado.
Também existe o tamanho do mercado.
Descoberta de produto: OpenAI pode ver o que as pessoas digitam no ChatGPT. O que significa que eles sabem como direcionar suas pesquisas muito melhor do que qualquer outra empresa que não tenha acesso às necessidades latentes dos usuários como essa.
Portanto, aqui, os dados de treinamento do modelo vêm principalmente de dados de uso. É um ciclo fechado.
Mas como a OpenAI (ou quem quer que seja) inicia o ciclo?
Com alguns casos de uso, como (digamos) escrever um poema, os dados de treinamento “semente” estavam no web scrape inicial; com as compras, os dados de treinamento inicial vieram como resultado da adição de pesquisa na web ao bate-papo e da observação dos usuários clicarem nos links.
Mas há produtos mais interessantes…
Como os gerentes de produto fazem a triagem dos tickets?
Como os encanadores fazem seu trabalho?
Você pode obter dados iniciais de treinamento para esses produtos de algumas maneiras, mas acho que há uma suposição de que o que acontece é que as empresas de IA precisam enganar as pessoas para obter seus dados, estando presentes em seu sistema de arquivos ou adicionando um agente de IA ao seu software SaaS no trabalho e, em seguida, escondendo algo nos termos de serviço que diz que os dados podem ser usados para treinar modelos futuros.
Simplesmente não sinto que essa suposição seja válida, pelo menos não para as maiores empresas.
Acesso alternativo ao método de dados de treinamento inicial nº 1: basta comprá-lo.
Vou dar um exemplo que é o chat multijogador. OpenAI acaba de lançar chat em grupo no ChatGPT:
Também ensinamos ao ChatGPT novos comportamentos sociais para bate-papos em grupo. Ele segue o fluxo da conversa e decide quando responder e quando ficar quieto com base no contexto da conversa em grupo.
Em maio, mergulhei profundamente no bate-papo multijogador de IA. Isso é realmente complicado. Descrevi todas as diferentes partes da teoria da conversação que você precisa considerar para ter uma conversa multijogador satisfatória.
O que eu não disse no final daquele post foi que, se eu estivesse construindo, todo o detalhamento complicado que forneci seria não o que eu faria.
Em vez disso, eu encontraria um grande corpus de bate-papos em grupo para dados iniciais e apenas treinaria o modelo com base nisso.
E não seria perfeito, mas seria bom o suficiente para lançar um produto, e então você teria dados reais de uso ao vivo chegando e poderia treinar iterativamente a partir daí.
De onde vieram esses dados iniciais para OpenAI? Não sei. Houve aquele acordo com o Reddit no ano passado, talvez fosse parte do pacote.
Para que eles possam comprar dados.
Ou eles podem conseguir.
Acesso alternativo aos dados de treinamento inicial nº 2: faça cosplay.
De vez em quando você ouve fofocas sobre como os dados de treinamento de sementes podem ser fabricados… Lembro-me de ter visto um tweet sobre isso há alguns meses e agora há um relatório:
Os agentes de IA estão sendo treinados em clones de produtos SaaS.
De acordo com um novo relatório @theinformation, a Anthropic e a OpenAI estão construindo clones internos de aplicativos SaaS populares para que possam treinar agentes de IA como usá-los.
Pesquisadores internos estão fornecendo aos agentes versões clonadas e falsas de produtos como Zendesk e Salesforce para ensiná-los a executar as tarefas que os funcionários administrativos realizam atualmente.
O tweet que encontrei era de um desenvolvedor dizendo que clonar aplicativos de negócios com a finalidade de serem usados em treinamento era um caminho infalível para uma aquisição rápida, mas que parecia talvez não está bem.
O que quero dizer é que as empresas de IA não precisam entrar furtivamente nos computadores para observar os gerentes de produto fazendo a triagem de tickets no Linear. Em vez disso, dado que o valor futuro é evidente, vale a pena simplesmente construir uma simulação do Linear, preenchê-la com dados sintéticos e, em seguida, pagar gerentes de produtos falsos para fazer cosplay do gerenciamento do produto dentro do Linear falso e treinar isso.
Aliás, a razão pela qual continuo dizendo semente dados de treinamento é que o requisito para isso é único. Depois que o ciclo do produto é iniciado, o produto cria o seu próprio. É por isso que não acredito que a receita proveniente do licenciamento de dados de redes sociais ou de artigos científicos seja real. Haverá um modelo diferente de pagamento por acesso no futuro.
Estou interessado em saber se este modelo se estende à IA física.
Eles precisarão de cordões no pescoço dos encanadores para observar o encanamento e treinar os robôs humanóides do futuro?
Ou será mais simples procurar tutoriais de encanamento do YouTube para começar e, em seguida, construir uma simulação de uma casa (física ou virtual, no Unreal Engine) e deixar a IA aprender sozinha?
O que quero dizer é que as empresas de IA precisam de acesso a dados de treinamento de sementes, mas a origem deles depende do produto e há muitas maneiras de esfolar um gato.
Esse é o ciclo nº 1 – um ciclo de mercado mediado por LLM que (a) fecha as transações e (b) descarta dados de uso que melhoram a eficiência do mercado e revelam outros produtos.
Os dados de treinamento de sementes por produto são um investimento único para a empresa de IA e podem ser encontrados de várias maneiras.
Este ciclo produz dinheiro.
A codificação é o loop especial que muda tudo
O Loop #2 começa com um produto específico do Loop #1.
Um produto de codificação não é apenas um modelo bom para compreender e escrever código. Ele precisa estar envolvido em um agente para planejamento e, em última análise, precisa de acesso a ferramentas de colaboração, PMs de IA, pesquisadores de usuários de IA e todo o resto.
Acho que está bem claro agora que a codificação com um agente é muito mais rápida do que a codificação humana por conta própria. E não apenas mais rápido, mas, por experiência própria, posso atingir objetivos que antes estavam além do meu alcance.
O ciclo se fecha quando os agentes de codificação aceleram os engenheiros que estão construindo os agentes de codificação e também, como efeito colateral, trabalhando no modelo de linguagem grande de uso geral subjacente.
Há um tipo interessante de problema de maximização de clipes aqui: se você está escolhendo onde colocar seus recursos, você constrói máquinas de clipes ou constrói as máquinas para construir as máquinas de clipes?
Bem, parece que todas as grandes empresas de IA tomaram a mesma decisão agora: acumular esforços para acelerar a codificação, porque fazer isso acelera todo o resto.
Então esses são os dois grandes loops.
Quem conseguir primeiro vencerá, é assim que penso.
Quero acrescentar duas notas sobre isso.
Sobre dados de treinamento que alimentam o ciclo do mercado:
Administrar o ciclo capitalismo de plataforma/mercado não é a única maneira de uma empresa participar na economia de produtos de IA.
Outra maneira é habilitá-lo.
Stripe está fazendo isso. Eles estão trabalhando duro para serem os trilhos de transação padrão para agentes de IA.
A Apple fez isso durante a última década do ciclo anterior do capitalismo de plataforma. O iPhone é o lugar para alcançar pessoas no Facebook, Google, Amazon, Uber e muito mais.
Quando eu disse antes que as empresas de IA estão tentando se aproximar do ponto de intenção, parte do que quero dizer é que elas estão tentando descobrir uma maneira de uma única empresa de hardware como a Apple não conseguir se inserir no circuito e tomar seus 30%.
Talvez, no futuro, as interações entre dispositivos sejam supercommoditizadas. O poder do iPhone é que ele reúne uma superfície de interação, conectividade, computação, identidade e pagamento, e cada um de nós tem um. É interessante imaginar o que poderia acabar com essa escassez.
Sobre ferramentas de codificação que melhoram as ferramentas de codificação:
Quanto você acredita nesse ciclo acelerado e de autoaperfeiçoamento?
Todos os grandes laboratórios de investigação em IA acreditam – ou pelo menos, se não acreditam, acreditam que o risco de estar errado é pior.
Mas, se for verdade, “ferramentas que produzem ferramentas melhores que permitem conquistar mercados maiores” é um impulsionador semelhante ao da Revolução Industrial: a tecnologia passou da máquina a vapor para o transístor em menos de 200 anos. Quem sabe o que acontecerá desta vez.
Porque há um terceiro loop a ser encontrado, e é aí que os modelos ficam tão bons que podem ser usados para novas pesquisas e desenvolvimento, e os laboratórios de IA (que têm dinheiro e acesso à computação mais barata) começam a comercializar rodas com novas físicas estranhas ou algo assim.
Ou talvez pare. É difícil saber onde está o topo da curva S.
Deixei uma ponta solta outro dia quando disse que IA tem a ver com intenção e contexto.
Foi quando eu disse
Mas deixei por isso mesmo e não entendi por que os dados de treinamento são valiosos.
Acho que muitas vezes apenas desenhamos uma seta reta “coletar dados de treinamento,” como ingerir páginas da Wikipedia ou ver o que as pessoas estão dizendo ao chatbot, para “agora o modelo de IA é melhor e, portanto, vence.”
Mas acho que vale a pena pensar no que essa flecha realmente significa. Tipo, qual é o mecanismo aqui?
Agora, tudo isso é apenas meu modelo mental para o que está acontecendo.
Com essa ressalva:
Na minha opinião, a empresa de IA que definiu uma era é a primeira a fechar dois ciclos de autoaceleração.
Ambos têm a ver com dados de treinamento. A primeira é a teoria geral; o segundo é específico.
Dados de treinamento para capitalismo de plataforma
Quando digo empresas que definem uma era, para mim há uma ideia que define uma era, ou pelo menos uma eradescrevendo, e esse é o conceito de capitalismo de plataforma de Nick Srnicek (Amazônia).
É a lógica que sustenta o sucesso do Uber, do Facebook, da Amazon, da pesquisa do Google (e, no futuro, do Waymo).
Já falei sobre capitalismo de plataforma antes (2020), mas em poucas palavras, Srnicek descreve um processo pelo qual
A tal ponto que em 2012 a Amazon registrou uma patente sobre remessa antecipada em 2012 (TecCrunch) em que, se você demonstrar forte intenção de comprar abas para lavanderia, eles as colocarão em um caminhão e as levarão até sua porta, abortando a entrega apenas se você não clicar no botão Comprar agora.
E também é assim que o Uber funciona, certo?
O Uber tem um algoritmo de correspondência melhor do que manter a empresa local de minitáxi na discagem rápida do seu telefone, que só funciona quando você está em sua casa, e o aumento de preços move os motoristas para pontos de acesso em antecipação à correspondência com os passageiros.
E é assim que funciona a pesquisa do Google.
Eles veem o que as pessoas clicam e usam isso para melhorar o algoritmo que impulsiona a atividade do mercado, e o custo das palavras-chave do AdSense incentiva novos participantes, o que aumenta o tamanho do mercado.
Então, como a eficiência e o tamanho do mercado se traduzem, digamos, no ChatGPT?
O ChatGPT pode ver o que significa sucesso para um “comprador” (um usuário do ChatGPT).
Eles geram uma resposta; os usuários respondem bem a isso ou não? (No entanto, isso é medido.)
Assim, esses dados de uso se tornam dados de treinamento para melhorar o modelo e preencher a lacuna entre a intenção do usuário e a transação.
No momento, o próprio ChatGPT é o “vendedor”. Para fechar totalmente o ciclo, eles precisarão se abrir para outros vendedores e o próprio ChatGPT fará a transição para ser o formador de mercado (e receber uma parte das transações).
E você pode ver esse processo com o novo recurso de compras OpenAI, certo?
Este é o modelo para todos os tipos de produtos de aplicativos de IA: qualquer coisa que as pessoas queiram, qualquer atividade, se houver uma transação no final, o modelo aproximará compradores e vendedores – eficiência do mercado.
Também existe o tamanho do mercado.
Descoberta de produto: OpenAI pode ver o que as pessoas digitam no ChatGPT. O que significa que eles sabem como direcionar suas pesquisas muito melhor do que qualquer outra empresa que não tenha acesso às necessidades latentes dos usuários como essa.
Portanto, aqui, os dados de treinamento do modelo vêm principalmente de dados de uso. É um ciclo fechado.
Mas como a OpenAI (ou quem quer que seja) inicia o ciclo?
Com alguns casos de uso, como (digamos) escrever um poema, os dados de treinamento “semente” estavam no web scrape inicial; com as compras, os dados de treinamento inicial vieram como resultado da adição de pesquisa na web ao bate-papo e da observação dos usuários clicarem nos links.
Mas há produtos mais interessantes…
Como os gerentes de produto fazem a triagem dos tickets?
Como os encanadores fazem seu trabalho?
Você pode obter dados iniciais de treinamento para esses produtos de algumas maneiras, mas acho que há uma suposição de que o que acontece é que as empresas de IA precisam enganar as pessoas para obter seus dados, estando presentes em seu sistema de arquivos ou adicionando um agente de IA ao seu software SaaS no trabalho e, em seguida, escondendo algo nos termos de serviço que diz que os dados podem ser usados para treinar modelos futuros.
Simplesmente não sinto que essa suposição seja válida, pelo menos não para as maiores empresas.
Acesso alternativo ao método de dados de treinamento inicial nº 1: basta comprá-lo.
Vou dar um exemplo que é o chat multijogador. OpenAI acaba de lançar chat em grupo no ChatGPT:
Em maio, mergulhei profundamente no bate-papo multijogador de IA. Isso é realmente complicado. Descrevi todas as diferentes partes da teoria da conversação que você precisa considerar para ter uma conversa multijogador satisfatória.
O que eu não disse no final daquele post foi que, se eu estivesse construindo, todo o detalhamento complicado que forneci seria não o que eu faria.
Em vez disso, eu encontraria um grande corpus de bate-papos em grupo para dados iniciais e apenas treinaria o modelo com base nisso.
E não seria perfeito, mas seria bom o suficiente para lançar um produto, e então você teria dados reais de uso ao vivo chegando e poderia treinar iterativamente a partir daí.
De onde vieram esses dados iniciais para OpenAI? Não sei. Houve aquele acordo com o Reddit no ano passado, talvez fosse parte do pacote.
Para que eles possam comprar dados.
Ou eles podem conseguir.
Acesso alternativo aos dados de treinamento inicial nº 2: faça cosplay.
De vez em quando você ouve fofocas sobre como os dados de treinamento de sementes podem ser fabricados… Lembro-me de ter visto um tweet sobre isso há alguns meses e agora há um relatório:
O tweet que encontrei era de um desenvolvedor dizendo que clonar aplicativos de negócios com a finalidade de serem usados em treinamento era um caminho infalível para uma aquisição rápida, mas que parecia talvez não está bem.
O que quero dizer é que as empresas de IA não precisam entrar furtivamente nos computadores para observar os gerentes de produto fazendo a triagem de tickets no Linear. Em vez disso, dado que o valor futuro é evidente, vale a pena simplesmente construir uma simulação do Linear, preenchê-la com dados sintéticos e, em seguida, pagar gerentes de produtos falsos para fazer cosplay do gerenciamento do produto dentro do Linear falso e treinar isso.
Aliás, a razão pela qual continuo dizendo semente dados de treinamento é que o requisito para isso é único. Depois que o ciclo do produto é iniciado, o produto cria o seu próprio. É por isso que não acredito que a receita proveniente do licenciamento de dados de redes sociais ou de artigos científicos seja real. Haverá um modelo diferente de pagamento por acesso no futuro.
Estou interessado em saber se este modelo se estende à IA física.
Eles precisarão de cordões no pescoço dos encanadores para observar o encanamento e treinar os robôs humanóides do futuro?
Ou será mais simples procurar tutoriais de encanamento do YouTube para começar e, em seguida, construir uma simulação de uma casa (física ou virtual, no Unreal Engine) e deixar a IA aprender sozinha?
O que quero dizer é que as empresas de IA precisam de acesso a dados de treinamento de sementes, mas a origem deles depende do produto e há muitas maneiras de esfolar um gato.
Esse é o ciclo nº 1 – um ciclo de mercado mediado por LLM que (a) fecha as transações e (b) descarta dados de uso que melhoram a eficiência do mercado e revelam outros produtos.
Os dados de treinamento de sementes por produto são um investimento único para a empresa de IA e podem ser encontrados de várias maneiras.
Este ciclo produz dinheiro.
A codificação é o loop especial que muda tudo
O Loop #2 começa com um produto específico do Loop #1.
Um produto de codificação não é apenas um modelo bom para compreender e escrever código. Ele precisa estar envolvido em um agente para planejamento e, em última análise, precisa de acesso a ferramentas de colaboração, PMs de IA, pesquisadores de usuários de IA e todo o resto.
Acho que está bem claro agora que a codificação com um agente é muito mais rápida do que a codificação humana por conta própria. E não apenas mais rápido, mas, por experiência própria, posso atingir objetivos que antes estavam além do meu alcance.
O ciclo se fecha quando os agentes de codificação aceleram os engenheiros que estão construindo os agentes de codificação e também, como efeito colateral, trabalhando no modelo de linguagem grande de uso geral subjacente.
Há um tipo interessante de problema de maximização de clipes aqui: se você está escolhendo onde colocar seus recursos, você constrói máquinas de clipes ou constrói as máquinas para construir as máquinas de clipes?
Bem, parece que todas as grandes empresas de IA tomaram a mesma decisão agora: acumular esforços para acelerar a codificação, porque fazer isso acelera todo o resto.
Então esses são os dois grandes loops.
Quem conseguir primeiro vencerá, é assim que penso.
Quero acrescentar duas notas sobre isso.
Sobre dados de treinamento que alimentam o ciclo do mercado:
Administrar o ciclo capitalismo de plataforma/mercado não é a única maneira de uma empresa participar na economia de produtos de IA.
Outra maneira é habilitá-lo.
Stripe está fazendo isso. Eles estão trabalhando duro para serem os trilhos de transação padrão para agentes de IA.
A Apple fez isso durante a última década do ciclo anterior do capitalismo de plataforma. O iPhone é o lugar para alcançar pessoas no Facebook, Google, Amazon, Uber e muito mais.
Quando eu disse antes que as empresas de IA estão tentando se aproximar do ponto de intenção, parte do que quero dizer é que elas estão tentando descobrir uma maneira de uma única empresa de hardware como a Apple não conseguir se inserir no circuito e tomar seus 30%.
Talvez, no futuro, as interações entre dispositivos sejam supercommoditizadas. O poder do iPhone é que ele reúne uma superfície de interação, conectividade, computação, identidade e pagamento, e cada um de nós tem um. É interessante imaginar o que poderia acabar com essa escassez.
Sobre ferramentas de codificação que melhoram as ferramentas de codificação:
Quanto você acredita nesse ciclo acelerado e de autoaperfeiçoamento?
Todos os grandes laboratórios de investigação em IA acreditam – ou pelo menos, se não acreditam, acreditam que o risco de estar errado é pior.
Mas, se for verdade, “ferramentas que produzem ferramentas melhores que permitem conquistar mercados maiores” é um impulsionador semelhante ao da Revolução Industrial: a tecnologia passou da máquina a vapor para o transístor em menos de 200 anos. Quem sabe o que acontecerá desta vez.
Porque há um terceiro loop a ser encontrado, e é aí que os modelos ficam tão bons que podem ser usados para novas pesquisas e desenvolvimento, e os laboratórios de IA (que têm dinheiro e acesso à computação mais barata) começam a comercializar rodas com novas físicas estranhas ou algo assim.
Ou talvez pare. É difícil saber onde está o topo da curva S.