O Google confirma que usa algo semelhante ao Muvera

Gary Illyes, do Google, respondeu às perguntas durante a recente Pesquisa Central Live Deep Dive na Ásia sobre se eles usam ou não a nova recuperação multissector por meio do método de recuperação de codificação fixa (MUVERA) e também se eles estão usando modelos de base gráfica.

Mover

O Google anunciou recentemente o Muvera em uma postagem no blog e em um artigo de pesquisa: um método que melhora a recuperação, transformando a pesquisa complexa de vários vetores em pesquisa única. Ele comprime conjuntos de incorporações de token em vetores dimensionais fixo que se aproximam de perto sua semelhança original. Isso permite que ele use métodos de pesquisa de vetor único otimizado para encontrar rapidamente bons candidatos e, em seguida, re-classificá-los usando a similaridade multi-vetor exata. Comparado a sistemas mais antigos como a xadrez, o Muvera é mais rápido, recupera menos candidatos e ainda melhora a recordação, tornando-a uma solução prática para recuperação em larga escala.

Os principais pontos sobre Muvera são:

• O MUVERA converte conjuntos de vários vetores em vetores fixos usando codificações dimensionais fixas (FDEs), que são representações de vetor único de conjuntos de vários vetores.
• Esses FDEs (codificações dimensionais fixas) correspondem às comparações originais de multi-vetor de estreitamente o suficiente para suportar a recuperação precisa.
• A MUVERA Retrieval usa o MIPS (Pesquisa máxima de produtos internos), uma técnica de pesquisa estabelecida usada na recuperação, facilitando a implantação em escala.
• Remorando: Após o uso de pesquisa rápida de vetor único (MIPS) para restringir rapidamente as correspondências mais prováveis, o Muvera os re-os classifica usando a similaridade do chanfro, um método de comparação multi-vetor mais detalhado. Esta etapa final restaura toda a precisão da recuperação multi-vetor, para que você obtenha velocidade e precisão.
• Muvera é capaz de encontrar mais documentos precisamente relevantes com um tempo de processamento mais baixo do que a linha de base de recuperação de última geração (xadrez) em que foi comparado.

O Google confirma que eles usam Muvera

José Manuel Morgal (perfil do LinkedIn) relatou sua pergunta a Gary Illyes, do Google, e sua resposta foi, brincando, perguntar o que Muvera era e então ele confirmou que eles usam uma versão dele:

É assim que a pergunta e a resposta foram descritas por José:

“Um artigo foi publicado no Google Research sobre Muvera e existe um artigo associado. Atualmente, está em produção em busca?

Sua resposta foi me perguntar o que Muvera era haha e então ele comentou que eles usam algo semelhante a Muvera, mas eles não nomeiam assim. ”

O Google usa modelos de fundação gráfica (GFMS)?

O Google publicou recentemente um anúncio de blog sobre um avanço da IA chamado modelo de fundação gráfico.

O modelo de base gráfico do Google (GFM) é um tipo de IA que aprende com bancos de dados relacionais, transformando -os em gráficos, onde as linhas se tornam nós e as conexões entre as tabelas se tornam bordas.

Ao contrário dos modelos mais antigos (modelos de aprendizado de máquina e redes neurais gráficas (GNNs)) que funcionam apenas em um conjunto de dados, o GFMS pode lidar com novos bancos de dados com diferentes estruturas e recursos sem reciclagem nos novos dados. Os GFMs usam um modelo AI grande para aprender como os pontos de dados se relacionam entre as tabelas. Isso permite que o GFMS encontre padrões que os modelos regulares perdem e eles têm um desempenho muito melhor em tarefas como detectar spam nos sistemas escalados do Google. Os GFMs são um grande passo à frente porque trazem flexibilidade para modelos de fundação para dados estruturados complexos.

Os modelos de fundação gráfica representam uma conquista notável porque suas melhorias não são incrementais. Eles são uma melhoria da ordem de magnitude, com ganhos de desempenho de 3x a 40x em precisão média.

Em seguida, José perguntou a Illys se o Google usa modelos de fundação gráfica e Gary novamente fingiu de brincadeira sem saber do que José estava falando.

Ele relatou a pergunta e a resposta:

“Um artigo foi publicado no Google Research sobre os modelos de Fundação Graph para dados, desta vez não há papel associado a ele. Atualmente, está em produção na pesquisa?

Sua resposta era a mesma de antes, perguntando -me qual era os modelos de Fundação Graph para dados, e ele pensou que não estava em produção. Ele não sabia porque não há artigo associado e, por outro lado, ele me comentou que não controlou o que é publicado no Google Research Blog. ”

Gary expressou sua opinião de que o modelo de fundação gráfico não era atualmente usado na pesquisa. Neste ponto, essa é a melhor informação que temos.

Veja também: O novo modelo de fundação gráfico do Google melhora a precisão em até 40x

O GFM está pronto para implantação em escala?

O anúncio oficial do modelo de fundação gráfico diz que foi testado em uma tarefa interna, a detecção de spam em anúncios, o que sugere fortemente que sistemas e dados internos reais foram utilizados, não apenas benchmarks acadêmicos ou simulações.

Aqui está o que o anúncio do Google relata:

“Operando em escala do Google significa processamento de gráficos de bilhões de nós e bordas onde nosso ambiente JAX e infraestrutura escalável de TPU brilha particularmente. Esses volumes de dados são passíveis de treinamento de modelos generalistas, por isso investigamos nossas tarefas de classificação interna, como detecção de spam, que envolvem dozenas de grandes e conectados tipulares. Tabelas e, portanto, perdem o contexto que podem ser úteis para previsões precisas.

Takeaways

Gary Illyes, do Google, confirmou que uma forma de Muvera está em uso no Google. Sua resposta sobre a GFM parecia ser expressa como uma opinião, por isso é um pouco menos claro, pois está relacionado como Gary dizendo que ele acha que não está em produção.

Imagem em destaque de shutterstock/krakenimages.com