O ex-Googler Jeff Dean explica as escolhas de design por trás do Gemini

Jeff Dean explicou recentemente as origens do Gemini, incluindo a filosofia de design por trás dele. Surpreendentemente, o Gemini ficou um pouco atrasado até que suas habilidades de codificação fossem melhoradas, o que posteriormente melhorou a capacidade de raciocínio do modelo.

A origem de Gêmeos

Dean explica que a origem do Gemini foi quando ele percebeu que havia várias equipes trabalhando separadamente com o mesmo objetivo. Olhando de fora, isso parece uma abordagem boba, e foi exatamente esse o insight que Dean teve.

A entrevistadora, Dawn Song, perguntou:

“Agora, olhando para trás, para o desenvolvimento do Gemini, o que mais o surpreendeu e quais lições da construção do Gemini você acha que pode compartilhar e ajudar a moldar a próxima geração de sistemas de IA?”

Dean respondeu:

“Acho que o Gemini é realmente o culminar de alguns projetos de pesquisa anteriores, tanto no Legacy DeepMind quanto no Google Brain e em outras partes do Google Research.

E naquela época, percebemos que estávamos todos convergindo para direções muito semelhantes, como treinamento, tentando aumentar o tamanho dos modelos que treinamos. Tivemos alguns esforços, esforços paralelos independentes, sobre como fazer com que os modelos de linguagem também sejam multimodais para que possam compreender imagens e assim por diante.

E escrevi um memorando de uma página. Eu fico tipo, isso é simplesmente bobo. Deveríamos apenas trabalhar juntos. Vamos combinar nosso pessoal, nossas ideias, nossos recursos computacionais e treinar um modelo que seja multimodal desde o início e que reúna nossos melhores profissionais de diversas organizações de pesquisa do Google.

E eu acho que isso foi muito bom.

…E então vimos uma maneira de voltarmos a ter uma colaboração mais próxima. E acho que isso foi algo realmente bem-sucedido.”

Captura de tela de Jeff Dean

Por que Gêmeos é multimodal

Sabemos que o Gemini é multimodal, mas o que é menos conhecido é que este foi um esforço de design desde o início. Dean explicou que o objetivo do Gemini era criar um modelo que pudesse compreender áudio, imagens, linguagem, texto e outras formas de informação. Mas, curiosamente, foi quando o treinaram para codificação que Gemini experimentou uma melhoria significativa no raciocínio.

Jeff Dean explicou:

“Acho que o foco em tornar o modelo multimodal desde o início tem sido muito, muito bom. Você quer que o modelo que vai usar para tudo entenda texto, linguagem, código, imagens, vídeos, áudio e outras modalidades.

Então, como colocamos um pouco de, digamos, dados LiDAR nos dados de treinamento, para que pelo menos saiba que os dados LiDAR são uma coisa, porque esse é um caso de uso importante para, você sabe, treinamento adicional de modelos Gemini. Então isso é importante.

E acho que isso foi um sucesso na decisão que tomamos no início de trazer isso também para todos os modelos Gemini atuais. …Queríamos tornar o modelo bom em muitas coisas.

E então acho que talvez nosso foco em tornar a codificação incrível estivesse um pouco atrasado e percebemos isso em nosso trabalho para recuperar o atraso.

E acho que temos bons esforços em andamento. Mas acho que, ao focar nisso, você acaba com um sistema que é realmente capaz de fazer um bom trabalho de raciocínio e de realizar outros tipos de tarefas que precisam funcionar para quebrar um problema complicado em várias subpartes e assim por diante.

E isso é bom: se você melhorar a codificação, também tenderá a melhorar essa capacidade em coisas não codificadas.”

Insight sobre aprendizagem

Na verdade, isso é muito interessante porque mostra como tornar o LLM especialista em uma coisa leva a benefícios em outras áreas. Na verdade, isso é semelhante a como os humanos se tornam especialistas nas coisas. Muitos séculos atrás, um mestre espadachim samurai chamado Miyamoto Musashi incentivou o aprendizado de artes e profissões que estão fora das artes marciais. Ele usou a carpintaria como um exemplo de como um mestre carpinteiro entende de ferramentas, planejamento, como gerenciar trabalhadores e entende a estrutura dos edifícios e então mapeia essas habilidades e insights de volta à arte marcial da luta com espadas.

A explicação de Jeff Dean sobre a origem do Gemini é útil porque dá aos usuários uma melhor compreensão do que é o Gemini, criando uma consciência do que é possível com o Gemini quando é considerado um modelo multimodal, e não apenas um modelo de texto generativo.

O segredo de Jeff Dean para inovação e sucesso

Dawn Song perguntou:

“Então, essencialmente, uma coisa que se destaca em sua carreira é que muitas dessas ideias, de MapReduce a MOE e assim por diante, levaram anos até que a comunidade em geral percebesse o quão importantes elas se tornariam.

Mas você teve o toque de Midas e a visão especial e realmente previdente para realmente construir e desenvolver essas ideias e sistemas e assim por diante.

Então, acho que muitas pessoas na plateia adorariam saber como você faz isso?

Como você distingue entre tecnologias que são genuinamente fundamentais e aquelas que estão simplesmente na moda?

E qual princípio de engenharia permaneceu surpreendentemente atemporal ao longo de sua carreira?

E também à medida que a IA muda de modelos para agentes cada vez mais autônomos, de quais novas abstrações você acha que precisaremos nos próximos anos e décadas para o nosso futuro?”

Jeff Dean respondeu:

“Acho que tive muita sorte, talvez, como parte disso. Mas também acho que uma das coisas que tento fazer é acompanhar muitas tendências ou tópicos de pesquisa diferentes que a comunidade está explorando.

Costumo dizer aos alunos que é melhor dar uma olhada em 10 artigos do que ler um em detalhes, porque você meio que ganha 10 pontos em sua nuvem do que pode ser possível, ou até mesmo dar uma olhada em 100 resumos.

Porque o que você quer fazer é conectar ideias importantes que ainda não foram conectadas.

E às vezes, quando você pensa sobre um problema difícil, se você tem em mente algumas dessas coisas que agora estão vagamente começando a ser possíveis, isso pode ajudá-lo a moldar uma solução completa para um problema onde, em vez de parecer sete problemas insolúveis, você pode olhar para ele e dizer, ok, bem, essas cinco coisas, eu sei que há uma espécie de trabalho vago em andamento que parece importante e pode ser capaz de resolver algumas das coisas.

Depois, há dois tipos de coisas adicionais que não tenho ideia de como fazer. Mas se eu trabalhar duro neles, posso imaginar resolvê-los.

E às vezes é muito importante fazer coisas que são melhorias incrementais em relação ao que estamos fazendo agora, mas você quer procurar as coisas que são, você sabe, talvez maneiras muito diferentes de fazer as coisas que podem ser possíveis ou que podem ser possíveis em breve.

…Já fiz um monte de coisas que também não deram certo, então essa também é uma boa dica. Experimente muitas coisas que podem não funcionar. Alguns deles irão.”

Assistir entrevista de Jeff Dean

Imagem em destaque/captura de tela da entrevista