probabilístico, mas não uma probabilidade
BM25 modela o chances um termo seria observado em um documento relevante (versus o termo que ocorre em um documento irrelevante).
Baseia-se na relevância probabilística, capturando:
- t – ocorre uma correspondência de termo de consulta
- R – o documento é relevante
É claro que as consultas contêm vários termos. Como combinamos essas probabilidades? As chances de AMBOS os termos estarem em um documento relevante, precisaríamos multiplicar Odds(t1) * Odds(t2).
Se tomarmos o log dessas probabilidades multiplicadas, podemos tirar vantagem de uma propriedade de logaritmos: log(Odds(t1) * Odds(t2)) = log(Odds(t1)) + log(Odds(t2)). Ou considerados em conjunto em cada termo:
BM25 tenta modelar isso!
Como?
Podemos imaginar casos em que ocorreria uma correspondência de termos em um documento relevante (o numerador). Por que uma correspondência de termos pode ocorrer em um documento irrelevante?
- O termo é ambíguo, não específico da intenção do usuário.
luke skywalker– Luke ocorre em todos os lugares. É comum. O termo raroskywalkerocorre apenas em Star Wars → é assim que obtemos a frequência inversa do documento. - O documento não é SOBRE esse termo – Um termo que ocorre de forma espúria (baixa frequência) não significa que o documento é relevante. Ou um termo que não ocupa uma proporção grande o suficiente do texto: Skywalker sendo mencionado algumas vezes em um livro pode acontecer acidentalmente.
Por tentativa, erro e experimentação com conjuntos de dados abertos, chegamos à fórmula exata do BM25.
É assim que obtemos um BM25 que é probabilístico, mas não uma probabilidade
Meu treinamento AI Powered Search com Trey Grainger começa QUINTA-FEIRA – inscreva-se aqui
-Doug
Isso faz parte das dicas da Pesquisa Diária de Doug – inscreva-se aqui
para aprender a usar agentes na pesquisa. construir um RAG melhor e usar LLMs na compreensão de consultas.
