O modelo mundial Genie 4 do Google adiciona áudio, mundos mais realistas e direção em tempo real

O Google DeepMind lançou seu mais novo modelo mundial, Genie 4, em uma prévia da pesquisa na terça-feira. O modelo mais recente gera os mundos mais fotorrealistas e interativos de todos os tempos, permitindo que os usuários digitem avisos no meio da simulação para mudar a cena. O modelo também gera áudio em tempo real que corresponde ao mundo simulado, incluindo música, ruídos ambientais e diálogo interativo.

O lançamento do Genie 4 ocorre alguns meses depois que a startup de vídeo AI Runway lançou seu segundo modelo mundial, GWM Worlds 2, um modelo jogável que responde dinamicamente às entradas do usuário e inclui geração de áudio. Ao mesmo tempo, a indústria mundial de modelos começa a se consolidar. O World Labs de Fei-Fei Li está sendo adquirido pela AMD, a Amazon está em negociações para comprar a Decart e a Rivian acaba de adquirir a Third Dimension para trazer recursos de simulação internamente para testes de direção autônoma.

Genie 4 é o mais recente movimento do Google para se manter à frente nesse campo lotado.

O Google lançou seu antecessor, Genie 3, como uma prévia da pesquisa há pouco mais de um ano. Além de ser muito mais fotorrealista e apresentar áudio, o Genie 4 permite edições de forma livre, como alterar o clima ou o ângulo da câmera em tempo real ou adicionar novas pessoas ou objetos. Ele pode manter uma cena consistente por até dois minutos, dobrar o limite de seu antecessor e oferecer melhor física e personagens mais humanos.

Gemini, o modelo de IA do Google, também está mais integrado ao Genie 4, atuando como o diretor que planeja etapas e verifica os frames enquanto o Genie cria os visuais. Em um experimento de pesquisa vinculado à Gemini Robotics, um modelo Gemini 4 Argon dividiu as tarefas em etapas que o Genie 4 simulou em tempo real. O experimento mostra uma maneira possível de testar cenários de robôs em simulação antes que eles aconteçam no mundo real.

“O que veremos cada vez mais no futuro são esses modelos de mundo híbrido, onde você tem uma combinação de Gemini escrevendo código e texto, e Genie ingerindo isso em tempo real e simulando a realidade em diferentes níveis de abstração”, disse Tejas Kulkarni, diretor de pesquisa do Google, durante um briefing.

Tal como acontece com outros modelos mundiais, os casos de uso comercial propostos incluem jogos, aprendizagem interativa e robótica. Um exemplo especulativo de aprendizagem interativa seria entrar na pintura de uma cena histórica e conversar com os sujeitos da pintura sobre o evento retratado.

Mas os “testadores de confiança” – as pessoas que obtêm primeiro acesso aos produtos de ponta do Google – estão apontando para um possível novo uso: a prototipagem de filmes.

“O aspecto do tempo real torna-se mais valioso nas áreas onde manter um estado de fluxo no espaço de criatividade se torna incrivelmente útil”, disse Diego Rivas, engenheiro do Google DeepMind, durante uma coletiva de imprensa. “Por exemplo, na fase de idealização, na fase de storyboard – sempre que você precisar de uma idealização rápida.”

O Google também oferece o Veo, seu modelo de geração de vídeo com IA que cria clipes de alta definição com áudio sincronizado integrado a partir de prompts de texto, imagem ou vídeo – uma ferramenta que vem crescendo em popularidade entre os cineastas.

Rivas acrescentou que os usuários poderão, eventualmente, contar com o Gemini Omni, um modelo multimodal de grande linguagem que pode gerar vídeo a partir de imagens, áudio e texto, para transformar esses protótipos em ativos criativos. Embora essas capacidades, diz ele, ainda estejam muito distantes.

Ao longo do briefing, Rivas enfatizou que ainda é o começo do Genie 4 e que ainda não está claro como será a experiência do produto de ponta a ponta. A equipe também reconheceu que o Genie 4 ainda tem lacunas: detalhes e objetos podem variar quanto mais a simulação for executada, e eles ainda não descobriram como garantir que o áudio será preciso e que qualquer texto no mundo será legível.

Genie 4 já está disponível como uma prévia da pesquisa para testadores confiáveis. Nas próximas semanas, o modelo será implementado para assinantes do Google AI Ultra no Project Genie, a ferramenta de IA do Google para gerar mundos interativos a partir de prompts de texto ou imagem, e parceiros de acesso antecipado da API Gemini e do Google AI Studio.