Google trará nova tecnologia de compreensão de vídeo para perguntar ao YouTube

O Google está trazendo um novo recurso de análise de vídeo para o Ask YouTube que permite ao Gemini se concentrar em segmentos de vídeo específicos para inspeção, em vez de amostrar o vídeo inteiro a uma taxa fixa.

Chamado de entendimento de vídeo agente, o sistema irá alimentar o Ask YouTube na página de exibição do vídeo “nos próximos meses”, diz o Google, para que o recurso possa responder a partir do que é mostrado na tela. Já está acessível aos desenvolvedores por meio da API Gemini no Google AI Studio e da Gemini Enterprise Agent Platform, suportando vídeos enviados e do YouTube.

Vindo perguntar ao YouTube

A postagem do Google diz que a versão da página de exibição do Ask YouTube receberá o novo processamento, “aproveitando o Gemini para fornecer respostas de maior qualidade baseadas em recursos visuais”. A postagem não dá uma data além dos “próximos meses” e não diz quais regiões ou idiomas o verão primeiro.

O recurso de perguntas na página de exibição aparece como um botão abaixo dos vídeos, permitindo que os espectadores obtenham respostas enquanto assistem. Esse recurso é separado da versão do Ask YouTube acessível por meio da barra de pesquisa, que oferece um resumo com os vídeos citados. Já discuti essa versão em abril, e Brooke Osmundson mencionou seu anúncio de I/O em maio. A página de ajuda do YouTube diz que é uma experiência para um grupo limitado de usuários dos EUA que pesquisam em inglês e que está se expandindo para mais usuários.

Em julho, Sundar Pichai compartilhou durante a teleconferência de resultados do segundo trimestre da Alphabet que mais de 140 milhões de usuários interagiram com o recurso de página de exibição em junho. Ele também disse que o Google está trazendo “aquela experiência Ask para uma experiência de pesquisa mais ampla no YouTube”.

Como funciona o novo processamento

O modo de vídeo padrão do Gemini, chamado processamento estático, captura um quadro por segundo e fornece cada quadro ao modelo, conforme detalhado na documentação da API do Google. Os desenvolvedores podem modificar a taxa de quadros, mas o modelo ainda processa o vídeo completo.

A compreensão de vídeo Agentic usa um loop dinâmico no qual o modelo carrega seletivamente partes do vídeo, ajusta a taxa de quadros e decide se inclui quadros, áudio ou transcrições para segmentos específicos. Segundo o Google, esse método oferece diversos benefícios, como localizar momentos em frações de segundo, pesquisar vídeos de várias horas, detectar falhas visuais e contar ações ou objetos repetidos.

O Google relata que em seus testes de benchmarks de vídeo padrão, a compreensão de vídeo agente reduz o uso de token em até 88%, reduz os custos de análise em até 66% e melhora a precisão em até 7% em comparação ao processamento estático. Os ganhos são maiores com vídeos mais longos, embora os documentos da API observem que o novo modo pode retardar ligeiramente o início de uma resposta em clipes com menos de cinco minutos.

Por que isso é importante

A atualização do Google mudará a forma como o recurso da página de exibição pode inspecionar o vídeo que você está assistindo no momento. A postagem não informa se a versão de busca do Ask YouTube passará pelo mesmo processamento.

Em abril, percebi que o YouTube não havia explicado o que torna um vídeo a citação principal em uma resposta de pesquisa do Ask YouTube, em vez de uma citação de apoio, ou por que pode ser omitido. Em 2 de setembro, a página de ajuda do YouTube para a versão de busca afirma que seu sistema de classificação “prioriza relevância, engajamento e qualidade”, o que eles dizem ser semelhante à busca normal do YouTube. Isso é tudo que as páginas de ajuda do YouTube selecionam, e a postagem de 1º de setembro não oferece detalhes adicionais. Também não aborda classificações, recomendações, citações ou ferramentas de criação, nem fornece qualquer orientação sobre a adaptação de vídeos para sistemas de IA.

Olhando para o futuro

A linha do tempo do Google coloca o novo modo de vídeo no aplicativo Gemini “em breve” e no recurso da página de exibição “nos próximos meses”, embora nenhuma data exata seja fornecida.

Monitore a página de ajuda da página de exibição para atualizações assim que o lançamento começar. Desde 2 de setembro, essa página afirma que as respostas são derivadas do YouTube e da web, mas não descreve como o vídeo em si é analisado.

Imagem em destaque: Nwz/Shutterstock. Logotipo do YouTube: Fonte: YouTube.