Ele conhecia cada palavra

Em Estava lá há um minutomencionei que ler artigos de pesquisa havia se tornado uma espécie de hobby… É quase masoquismo. Continuei trabalhando em artigos e white papers e tentando conectar os pontos entre os experimentos. O que me interessa é como uma descoberta num estudo muda a forma como leio outro.

Da última vez, observei o que uma resposta ausente nos permite diagnosticar. Desta vez, quero analisar o aparente sucesso: a modelo parece ter aprendido o material e estamos prontos para nos parabenizar.

Um modelo pode se tornar extremamente bom em prever os fatos de uma biografia e ainda ter dificuldades quando você pergunta onde a pessoa trabalha. Os pesquisadores documentaram essa lacuna. A leitura correu muito bem. As perguntas foram um pouco problemáticas.

Pense em um aluno que consegue recitar uma passagem do livro, até a pontuação. Faça uma pergunta que exija retirar um fato dessa passagem e o desempenho mudará. Provavelmente gostaríamos de ver os resultados do exame antes de declarar a revisão um sucesso.

Essa é a distinção que continuo apontando quando as pessoas falam em colocar uma marca na memória do modelo. A frase faz a parte difícil parecer terminada. Depois que o modelo encontrar seu nome durante o treinamento, ele deverá conhecê-lo bem o suficiente para seguir as recomendações. Muito eficiente, se isso for suficiente.

Há muita coisa escondida em “sabe”.

A lição voltou, as respostas não

Modelos de Física da Linguagem: Parte 3.1 usa biografias fictícias para separar a memorização do texto da extração de seus fatos. Os pesquisadores pré-treinaram pequenos modelos nas biografias, depois os aperfeiçoaram em questões sobre algumas pessoas e testaram questões sobre outras.

Aqui, pré-treinamento significa aprender do zero com as biografias; o ajuste fino é o treinamento subsequente na tarefa de pergunta-resposta. Ambos alteram os parâmetros ou pesos aprendidos do modelo. As informações que ele pode usar desses pesos, sem buscar uma fonte, é o que queremos dizer aqui com memória paramétrica.

O modelo viu a biografia de cada pessoa testada, mas nunca foi treinado em perguntas sobre essa pessoa. O fracasso não pode ser descartado como se nunca tivesse recebido o material.

A comparação dos alunos ajuda na diferença entre recitação e resposta. Não nos diz nada sobre se um modelo entende algo no sentido humano. A questão é se ele pode usar os fatos aprendidos de uma forma para responder às perguntas feitas de outra.

Um modelo que completa a descrição do seu produto, quando dado o início, passou em um teste específico. Um comprador perguntando qual produto atende às suas necessidades definiu outro. Eu seria cauteloso com uma reivindicação de memória que desliza entre eles sem dizer isso.

A resposta óbvia é mais repetição. Dê a lição novamente, até que ela pegue.

Em Quantificando a memorização em modelos de linguagem neurala duplicação no corpus de treinamento aumenta a extração literal: forneça o início de uma passagem de treinamento e o modelo terá maior probabilidade de reproduzir a continuação.

Portanto, a reconvenção confortável de que as cópias não ensinam nada ao modelo é demasiado ampla. A repetição pode melhorar um resultado medido. A questão é: qual resultado?

Um artigo mais recente, Não se esqueça! Decompondo a Dinâmica de Treinamento de Memorização em Modelos de Linguagempergunta o que acontece com uma passagem memorizada à medida que o treinamento continua. Os pesquisadores usaram versões salvas de modelos Pythia para simular atualizações de treinamento e alterações nos pesos aprendidos.

Nessas simulações, o aprendizado com outros dados funcionou mais fortemente contra a previsão de passagens memorizadas repetidas com frequência do que com passagens raras, especialmente no modelo com um bilhão de parâmetros. Os pesquisadores sugerem que a repetição pode ajudar a manter essas passagens reproduzíveis, apesar da interferência.

Eles não variaram a repetição e os dados de treinamento competitivo separadamente para provar essa explicação. E testaram a continuação palavra por palavra, não respostas sobre os fatos.

Voltando à nossa analogia, o aluno também tem que enfrentar o resto do programa. Uma contagem de menções não pode dizer como o aprendizado de outro material afeta o resultado desejado.

Ser capaz de terminar a passagem ainda deixa em aberto se o modelo pode usar seus fatos para responder a um tipo diferente de pergunta. Uma recitação mais bem-sucedida não pode resolver isso por si só. Nem uma publicação repetida é automaticamente uma exposição repetida de treinamento. O fornecedor do modelo ainda precisa coletar a cópia, mantê-la após a filtragem e realmente utilizá-la no treinamento.

Posso ver por que a contagem menciona recursos. Você pode contá-los antes de saber o que eles ensinarão.

Os mesmos fatos, ensinados de maneira diferente

No experimento de biografia, os pesquisadores variaram o texto, embaralharam a ordem das frases e repetiram o nome completo de cada pessoa ao longo de sua biografia. A precisão em questões factuais sobre o grupo de teste aumentou de 9,7% para 96,2% em um modelo GPT-2 de 124 milhões de parâmetros. Esses foram fatos sintéticos em um experimento de treinamento de pequenos modelos, e não recomendações de marcas comerciais.

O resultado me dá uma maneira melhor de pensar sobre um fato de marca do que simplesmente perguntar com que frequência a frase aparece. Considere uma empresa de pagamentos inventada. Uma descrição explica como seu recurso de pagamento ajuda os vendedores do mercado; outro explica como o mesmo recurso lida com o problema de pagamento de um cliente. As descrições referem-se ao mesmo produto, mas podem ajudar a responder perguntas diferentes.

Isso me dá um motivo para testar descrições claras de um produto em diferentes situações. Isso não me diz que publicar essas descrições fará com que um modelo comercial se lembre melhor do produto.

Os pesquisadores escolheram seu material de treinamento e treinaram eles próprios o modelo. Um editor pode colocar páginas on-line, mas o fornecedor do modelo decide se essas páginas serão treinadas, quais cópias serão mantidas e como usá-las.

Se você usar esse resultado para vender um pacote de páginas da web, estará prometendo uma melhoria que os pesquisadores nunca testaram. Colocar o documento na proposta não preenche essa lacuna.

Descrições melhores ainda podem ajudar. Eu gostaria de ter provas de que o trabalho de publicação melhorou a lembrança antes de prometê-lo a um cliente. E o grande ganho neste modelo de pequena biografia não nos diz que melhoria esperar de um modelo comercial muito maior.

Alguém fez a lição de casa

Os pesquisadores também mantiveram as biografias de um grupo inalteradas enquanto acrescentavam biografias variadas para outro grupo. A acurácia nas questões sobre o grupo inalterado subiu de 4,4% para 86,8%.

Para o treinamento posterior de perguntas e respostas, eles usaram exemplos apenas sobre o grupo adicionado. As biografias do grupo de teste não ganharam versões extras e seus pares perguntas-respostas nunca foram utilizados em treinamentos. O treinamento com material sobre outras pessoas ajudou o modelo a responder perguntas sobre esse grupo. A transferência dependia de material suficientemente semelhante.

De volta à sala de aula, o aluno melhora no aproveitamento de uma aula porque o ensino melhorou em outros lugares. A própria passagem deles não adquiriu outro parágrafo.

Esta é a descoberta que faz com que uma explicação clara do conteúdo da marca pareça incompleta para mim. A qualidade de tudo o que está escrito sobre uma marca pode ser importante. O mesmo pode acontecer com a capacidade do modelo de usar informações desse tipo, desenvolvida através do treinamento em outros exemplos.

Se uma transferência semelhante for importante para fatos comerciais, sua marca poderá se tornar mais fácil de ser lembrada após uma mudança de modelo, sem que ninguém tenha reescrito o material de sua marca. Essa é uma hipótese sobre sistemas de produção, e não um resultado medido por esses pesquisadores.

Melhores respostas sobre sua empresa, dadas sem recuperação, não significariam necessariamente que seu programa de conteúdo mais recente ensinou ao modelo algo novo sobre você. O provedor pode ter mudado a forma como o modelo aprende a usar o que encontra.

Fiquei tentado a explicar melhor o recall por meio de descrições mais variadas de cada marca. Isso pode ajudar, mas não pode ser a única explicação aqui: as biografias testadas não ganharam versões extras. Se minha explicação precisar de páginas extras sobre a empresa, ela não poderá dar conta desse resultado.

Gosto da hipótese da diversidade de conteúdo. Prefiro manter isso como uma hipótese do que fazer o jornal dizer que é todo o mecanismo.

Um melhor aprendizado ainda precisa atender à questão

Um estudo separado, Ajuste fino ou recuperação?também encontra benefícios no material de treinamento parafraseado. Em seu teste de múltipla escolha, Mistral-7B obteve 50,4% após treinamento nos documentos originais e 58,8% com material parafraseado.

Dar passagens relevantes com a pergunta teve melhor desempenho: 87,5%. Essa é a geração aumentada de recuperação, ou RAG, que fornece evidências no momento da resposta.

As perguntas foram geradas a partir dos mesmos pedaços de texto que o sistema de recuperação poderia fornecer. Isso favorece a recuperação: as perguntas dizem respeito a fatos do material disponível. O teste também forneceu opções de resposta, medindo o reconhecimento em vez de produzir uma resposta sem opções ou recomendar um produto.

Para mim, esse é mais um motivo para dizer o que o trabalho deve melhorar. Um ganho em reconhecimento, um ganho em respostas factuais e uma mudança nas recomendações de produtos necessitam de evidências diferentes.

O nome no resultado da pesquisa também pode afetar a escolha. Em Preferência de fonte em estado selvagemos pesquisadores mantiveram os títulos e trechos fixos, alteraram a fonte mostrada ao lado deles e viram as escolhas dos modelos mudarem. As modelos escolheram trechos sem abrir as páginas.

Os pesquisadores também treinaram modelos em pares de seleções melhores e piores, uma forma de treinamento de preferência. Eles fizeram com que uma fonte acompanhasse o item melhor com mais frequência durante o treinamento. Mais tarde, os modelos favoreceram essa fonte mesmo quando os itens de teste atendiam aos mesmos requisitos medidos.

Isso mostra uma maneira pela qual o treinamento pode criar uma preferência de fonte. Não explica como os agentes de busca adquiriram as preferências existentes. Seu produto pode passar em um teste de recall enquanto um resultado concorrente é escolhido por um motivo que o teste nunca examinou.

Meu interesse aqui também é comercial. Trabalho na geoSurge, onde a memória do modelo é fundamental para a abordagem. Uma melhor recordação é um resultado que vale a pena perseguir. Uma receita editorial que promete ainda precisa estabelecer a ligação entre o trabalho realizado e o resultado reivindicado.

Os experimentos de treinamento me dão motivos para levar a memória do modelo a sério. Alterar o material e as tarefas de treinamento pode melhorar as respostas factuais. Esse é um ponto de partida útil para trabalhos futuros.

A parte estranha é quem controla o treinamento. Os editores podem disponibilizar informações e descrevê-las claramente. Os provedores decidem o que entra no treinamento e como ele é usado. A experiência da biografia mostra por que o material sobre outra pessoa também pode ser importante.

Se um modelo começar a responder melhor às perguntas sobre uma empresa, eu gostaria de entender o que mudou no modelo e também o que mudou no site da empresa.

O provedor pode alterar o currículo enquanto seu calendário de conteúdo altera o material de leitura oferecido. Confunda esses poderes e você poderá continuar atribuindo lição de casa muito depois de o aluno poder recitar a lição.

Mais recursos:

Esta postagem foi publicada originalmente no The Inference.

Imagem em destaque: Olese4ka87/Shutterstock