bm25算法详解

bm25算法详解

作者: 又双叒叕苟了一天 | 来源:发表于2024-02-18 15:32 被阅读0次

bm25算法是TF-IDF算法的改进版本，考虑了查询中单词在文档中出现的频率、单词自身的重要性和文档的长度
应用：信息检索领域的排名函数

公式

$Score(D,Q)=\sum_{i=1}^nIDF(q_i)\cdot\frac{f(q_i,D)\cdot(k_1+1)}{f(q_i,D)+k_i1(1-b+b\frac{|D|}{avgdl})}$
说明：

$Score(D,Q)$ 表示查询 $Q$ 和文档 $D$ 的匹配分
首先对查询 $D$ 进行分词，获得每个单词 $q_i$
计算单词 $q_i$ 的逆文档频率 $IDF(q_i)=\log(\frac{N-n(q_i)+0.5}{n(q_i)+0.5}+1)$ ，其中 $N$ 为文档总数（常量）， $n(q_i)$ 是包含单词 $q_i$ 的文档数，意味着出现单词 $q_i$ 的文档数越多，单词越不重要。例如：the，is，是，的这些单词。
$f(q_i,D)$ 表示单词 $q_i$ 在文档D中出现的频率，出现的频率越高，说明匹配分越高。
$k_1$ ：正系数，控制词频的饱和度，取值范围[1.2,2]。 $k_1$ 越大，词频，即单词 $q_i$ 在文档D中出现的频率越大，文档D的匹配分数越高
$b$ ：通常设置为0.75，取值范围[0,1]，控制文档长度对评分的影响，b越大影响越大，0时没有影响。文档长度越大，评分越低。 $avgdl$ 为所有文档的平均长度，为常量。 $|D|$ 为文档 $D$ 的长度。 $|D|$ 越大，分母越大，则分数越低。

与TFIDF的区别

公式

$\mathrm{tfidf_{i,j}}=\mathrm{idf_{i,j}}\cdot\mathrm{tf_{i,j}}=\lg\frac{|D|}{|\{j:t_i\in d_j\}|}\cdot \frac{n_{i,j}}{\sum_kn_{i,k}}$

$\mathrm{tf_{i,j}}$ 表示单词 $n_{i,j}$ 的词频，词频越高，重要性越高
$\mathrm{tfidf_{i,j}}$ 表示单词 $n_{i,j}$ 在所有文档中出现的频率的倒数，再以log为底数得到，出现的频率越高，越不重要
bm25相对tfidf，引入了系数k1，b，衡量了tf和文档长度对评分的影响

Best Matching 25 其中25的含义是此算法经过 25 次迭代调整之后得到的，这也是这个匹配算法经久不衰的原因。

参考文章

RAG提效利器——BM25检索算法原理和Python实现
 科普一下Elasticsearch中BM25算法的使用

相关文章

网友评论

本文标题：bm25算法详解

本文链接：https://www.haomeiwen.com/subject/dzcmadtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|bm25算法详解|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！