Google DeepMind desenvolve novo modelo de classificação de pesquisa de IA

O Google publicou recentemente um artigo de pesquisa sobre o treinamento de um LLM para substituir as atuais arquiteturas de classificação de back-end para pesquisa. Os pesquisadores propõem o uso da Classificação Autoregressiva como um substituto para os atuais sistemas de classificação em dois estágios.

Codificadores duplos e codificadores cruzados

Em um sentido muito geral e simples, os sistemas tradicionais de classificação de pesquisa normalmente têm uma arquitetura de dois estágios com um codificador duplo e um codificador cruzado.

• O Dual Encoder (DE) converte consultas e documentos em vetores e os utiliza para recuperar rapidamente documentos prováveis. Os codificadores duplos são relativamente baratos e rápidos em termos computacionais. Esses documentos candidatos são posteriormente repassados ​​​​ao Cross Encoder (CE).
• O Cross Encoder (CE) analisa e classifica as páginas candidatas que o Dual Encoder (DE) selecionou.

Os codificadores duplos são eficientes e rápidos, mas são limitados na precisão com que podem classificar os documentos. É por isso que os sistemas de classificação usam Cross Encoders, que são mais poderosos. Mas os Cross Encoders são computacionalmente caros demais para recuperação em larga escala, e é por isso que são usados ​​no segundo estágio para classificar os documentos candidatos.

O que os pesquisadores estão propondo é substituir o back-end de recuperação de pesquisa em dois estágios por um novo sistema chamado Autoregressive Ranking (ARR). O artigo de pesquisa é intitulado Classificação autoregressiva: preenchendo a lacuna entre codificadores duplos e cruzados. Os pesquisadores são do Google DeepMind, da Universidade de Massachusetts Amherst e da Universidade do Texas em Austin.

É uma mudança bastante radical substituir o sistema de classificação padrão de dois estágios por um único LLM que produz a lista classificada de documentos. Se algo assim fosse usado, as implicações para SEO/AEO seriam profundas.

Treinando um modelo de classificação: SToICaL

A primeira etapa da criação do modelo de classificação é treiná-lo. Os pesquisadores desenvolveram um método chamado SToICaL (Simple Token-Item Calibrated Loss) para ensinar um LLM como classificar documentos.

O treinamento ensina ao LLM quais documentos devem ter classificação superior e inferior de duas maneiras:

• Primeiro, os documentos que deveriam ter uma classificação mais elevada recebem mais peso e aqueles que deveriam ter uma classificação mais baixa recebem menos.
• Em segundo lugar, a classificação fornecida pelos dados de treinamento é usada para dar mais probabilidade às escolhas de tokens que levam a documentos com classificações mais altas.

O resultado é um LLM que aprende quais documentos são relevantes e é capaz de suprimir a classificação dos irrelevantes.

Os pesquisadores explicam:

“Em seguida, propomos SToICaL (Simple Token-Item Calibrated Loss), uma perda de treinamento generalizada com reconhecimento de classificação para ajuste fino de LLM. Usando reponderação em nível de item e marginalização de árvore de prefixo, distribuímos massa de probabilidade sobre tokens docID válidos com base em sua relevância de verdade.”

Resultados do teste

Os pesquisadores testaram seu novo sistema para avaliar se ele realmente melhora o desempenho da classificação em comparação com a previsão comum do próximo token, usando dois conjuntos de dados, WordNet e ESCI Shopping Queries. Eles também o compararam com codificadores duplos e codificadores cruzados padrão em um teste separado usando WordNet.

Os resultados dos testes mostraram que o Ranking Autoregressivo (ARR) teve um desempenho forte, mas não em todas as métricas.

Eles compartilharam:

• SToICaL melhorou a capacidade de classificação do ARR. Os pesquisadores escreveram que seu treinamento com reconhecimento de classificação “melhora significativamente as métricas de classificação além da recuperação do primeiro lugar”.
• O método de treinamento SToICaL ajudou a ARR a classificar com sucesso documentos irrelevantes abaixo dos relevantes. Nos experimentos do WordNet, os pesquisadores dizem que seus métodos de reconhecimento de classificação “reduzem drasticamente” esse tipo de erro de classificação.
• Na comparação WordNet, o ARR teve desempenho semelhante ao Cross Encoder (o computacionalmente caro) e significativamente melhor que o Dual Encoder.

Uma área que necessita de mais investigação é que, no teste de pesquisa de compras, uma versão do método piorou na classificação primeiro do resultado mais relevante, embora tenha melhorado a classificação geral dos resultados.

Conclusões

Os pesquisadores concluem que os Dual Encoders (DEs) ficam restritos à medida que o número de documentos a serem classificados aumenta porque, para representar todas as classificações possíveis, o tamanho do vetor precisa crescer correspondentemente. Eles mostram que o ARR não tem essa limitação e, em teoria, pode classificar um número arbitrário de documentos.

Eles explicam:

“Fornecemos uma base teórica para a capacidade expressiva superior do ARR sobre DEs. Uma análise rigorosa da geometria de incorporação necessária para a classificação mostra que para um DE atingir qualquer ordenação de documentos 𝑘, sua dimensão de incorporação deve crescer linearmente com 𝑘.

Em contraste, provamos que um modelo ARR com dimensão oculta constante é teoricamente suficiente para classificar um número arbitrário de documentos. Isto oferece uma explicação formal para as vantagens do ARR.”

No entanto, este é um resultado teórico, o que significa que não estabelece necessariamente que o ARR funcionará desta forma em sistemas de busca do mundo real. No entanto, os investigadores também dizem que as suas experiências mostraram que a abordagem melhorou o desempenho da classificação e tornou-se melhor na manutenção de documentos irrelevantes abaixo dos relevantes.

Eles escrevem (PDF):

“Neste artigo, estabelecemos uma base teórica para a classificação autoregressiva, provando que, embora os DEs exijam dimensões de incorporação para crescer com o tamanho do corpus, os modelos ARR que geram docIDs de vários tokens podem resolver tarefas completas de classificação com uma dimensão oculta constante, dada uma condição moderada na classificação da matriz de incorporação para os tokens docID.

Propusemos uma perda generalizada de treinamento com reconhecimento de classificação para classificação autoregressiva (pontual) que depende de reponderação em nível de item e marginalização de prefixtree para distribuir a massa de probabilidade sobre tokens docID válidos com base em sua relevância de verdade. Experimentos no WordNet e ESCI mostram que esta abordagem suprime com sucesso gerações de docID inválidas e melhora as principais métricas de classificação.”

Conclusões

• Alguns SEOs tendem a dizer que a pesquisa mudou por causa da IA. Mas este artigo deixa claro que, para a parte de classificação, Dual Encoders e Cross Encoders ainda desempenham um papel.
• Outra conclusão é que ainda não atingimos o ponto em que “tudo mudou”, mas este artigo de pesquisa mostra que o Google pode estar se aproximando de um dia em que a pesquisa realmente mudará de forma profunda.

Imagem em destaque de Shutterstock/Samuel Boivin