O novo modelo de fundação gráfico do Google melhora a precisão em até 40x

O Google publicou detalhes de um novo tipo de IA baseado em gráficos chamado Modelo de Fundação Gráfico (GFM) que generaliza para gráficos anteriormente não vistos e oferece um aumento de três a quarenta vezes em precisão em relação aos métodos anteriores, com testes bem -sucedidos em aplicativos em escala, como detecção de spam em anúncios.

O anúncio desta nova tecnologia é referido como expandindo os limites do que foi possível até hoje:

“Hoje, exploramos a possibilidade de projetar um único modelo que possa se destacar em tabelas relacionais interconectadas e, ao mesmo tempo, generalizar para qualquer conjunto arbitrário de tabelas, recursos e tarefas sem treinamento adicional. Estamos entusiasmados em compartilhar nosso progresso recente em desenvolver esses modelos de base gráfico (GFM) que pressionam as fronteiras da aprendizagem gráfica e do ML do ML além de bases padrão.

Redes neurais gráficas vs. Modelos de fundação gráfica

Os gráficos são representações de dados relacionados entre si. As conexões entre os objetos são chamadas de bordas e os próprios objetos são chamados de nós. No SEO, pode -se dizer que o tipo de gráfico mais familiar é o gráfico do link, que é um mapa de toda a Web pelos links que conectam uma página da Web a outra.

A tecnologia atual usa redes neurais gráficas (GNNs) para representar dados como o conteúdo da página da web e pode ser usado para identificar o tópico de uma página da web.

Um post do Google Research Blog sobre o GNNS explica sua importância:

“As redes neurais gráficas, ou GNNs, emergiram como uma técnica poderosa para aproveitar a conectividade do gráfico (como nos algoritmos mais antigos Deepwalk e Node2Vec) e os recursos de entrada nos vários nós e as bordas.

Além de fazer previsões sobre gráficos, os GNNs são uma ferramenta poderosa usada para preencher o abismo para casos de uso de rede neural mais típicos. Eles codificam as informações discretas e relacionais de um gráfico de maneira contínua, para que ele possa ser incluído naturalmente em outro sistema de aprendizado profundo. ”

A desvantagem dos GNNs é que eles estão amarrados ao gráfico em que foram treinados e não podem ser usados em um tipo diferente de gráfico. Para usá -lo em um gráfico diferente, o Google deve treinar outro modelo especificamente para esse outro gráfico.

Para fazer uma analogia, é como ter que treinar um novo modelo generativo de IA nos documentos de idioma francês apenas para fazê -lo funcionar em outro idioma, mas esse não é o caso porque o LLMS pode generalizar para outros idiomas, o que não é o caso de modelos que funcionam com gráficos. Esse é o problema que a invenção resolve, para criar um modelo que generalize para outros gráficos sem precisar ser treinado primeiro neles.

O avanço que o Google anunciou é que, com os novos modelos de fundação gráfica, o Google agora pode treinar um modelo que pode generalizar em novos gráficos que ele não foi treinado e entender padrões e conexões nesses gráficos. E pode fazê -lo de três a quarenta vezes mais precisamente.

Anúncio, mas sem papel de pesquisa

O anúncio do Google não está vinculado a um artigo de pesquisa. Foi relatado de várias maneiras que o Google decidiu publicar menos trabalhos de pesquisa e este é um grande exemplo dessa mudança de política. É porque essa inovação é tão grande que quer manter isso como uma vantagem competitiva?

Como funcionam os modelos de fundação gráfica

Em um gráfico convencional, digamos um gráfico da Internet, as páginas da web são os nós. Os links entre os nós (páginas da web) são chamados de bordas. Nesse tipo de gráfico, você pode ver semelhanças entre as páginas, porque as páginas sobre um tópico específico tendem a vincular -se a outras páginas sobre o mesmo tópico específico.

Em termos muito simples, um modelo de base gráfico transforma cada linha em cada tabela em um nó e conecta nós relacionados com base nos relacionamentos nas tabelas. O resultado é um único gráfico grande que o modelo usa para aprender com os dados existentes e fazer previsões (como identificar spam) em novos dados.

Captura de tela de cinco mesas

Transformando tabelas em um único gráfico

O artigo de pesquisa diz isso sobre as seguintes imagens que ilustram o processo:

“A preparação dos dados consiste em transformar tabelas em um único gráfico, onde cada linha de uma tabela se torna um nó do respectivo tipo de nó, e as colunas de chave estrangeira se tornam bordas entre os nós. As conexões entre cinco tabelas mostradas se tornam bordas no gráfico resultante.”

Captura de tela de mesas convertidas em bordas

O que torna esse novo modelo excepcional é que o processo de criação é “direto” e escala. A parte sobre escala é importante porque significa que a invenção é capaz de trabalhar em toda a infraestrutura maciça do Google.

“Argumentamos que a alavancagem da estrutura de conectividade entre as tabelas é fundamental para algoritmos eficazes de ML e melhor desempenho a jusante, mesmo quando os dados do recurso tabular (por exemplo, preço, tamanho, categoria) são escassos ou barulhentos. Para esse fim, a única etapa de preparação de dados consiste em transformar uma coleção de tabelas em um único gráfico heterogêneo.

O processo é bastante direto e pode ser executado em escala: cada tabela se torna um tipo de nó exclusivo e cada linha em uma tabela se torna um nó. Para cada linha em uma tabela, suas relações de chave estrangeira tornam -se bordas digitadas com os respectivos nós de outras tabelas, enquanto o restante das colunas é tratado como recursos do nó (normalmente, com valores numéricos ou categóricos). Opcionalmente, também podemos manter as informações temporais como recursos de nó ou borda. ”

Veja também: Link gráficos e rankings do Google

Os testes são bem -sucedidos

O anúncio do Google diz que eles o testaram na identificação de spam nos anúncios do Google, o que foi difícil porque é um sistema que usa dezenas de gráficos grandes. Os sistemas atuais não conseguem fazer conexões entre gráficos não relacionados e falta de contexto importante.

O novo modelo de base gráfico do Google conseguiu fazer as conexões entre todos os gráficos e o desempenho aprimorado.

O anúncio descreveu a conquista:

“Observamos um impulso significativo de desempenho em comparação com as melhores linhas de base de mesa única. Dependendo da tarefa a jusante, a GFM traz ganhos de 3x a 40x em precisão média, o que indica que a estrutura do gráfico nas tabelas relacionais fornece um sinal crucial a ser aproveitado pelos modelos ML”.

O Google está usando este sistema?

É notável que o Google tenha testado com sucesso o sistema com anúncios do Google para detecção de spam e vantagens relatadas e sem desvantagens. Isso significa que ele pode ser usado em um ambiente ao vivo para uma variedade de tarefas do mundo real. Eles o usaram para a detecção de spam do Google ADS e, porque é um modelo flexível que significa que ele pode ser usado para outras tarefas para as quais vários gráficos são usados, desde a identificação de tópicos de conteúdo até a identificação do link spam.

Normalmente, quando algo fica aquém, os trabalhos de pesquisa e o anúncio dizem que aponta o caminho para o futuro, mas não é assim que essa nova invenção é apresentada. É apresentado como um sucesso e termina com uma declaração dizendo que esses resultados podem ser melhorados, o que significa que pode ficar ainda melhor do que esses resultados já espetaculares.

“Esses resultados podem ser aprimorados ainda mais por escala adicional e coleta de dados de treinamento diversificada, juntamente com uma compreensão teórica mais profunda da generalização”.

Leia o anúncio do Google:

Modelos de fundação gráfica para dados relacionais

Imagem em destaque de Shutterstock/Sidorart