BM25算法在Lucene中的应用

Lucene是apache软件基金会jakarta项目组的一个子项目，是一个用Java写的全文检索引擎工具包，可以方便的集成到系统中提以提供高效的检索能力，Lucene核心功能分为建索和检索两部分。而对于检索部分来说，检索词和结果的相关度则为整个系统的核心部分，Lucene在相关度得分上提供了多种算法，现在大多数文章都会提到其中的TF/IDF算法，本文主要说一下其中的BM25算法在Lucene中的应用
BM25是二元独立模型(BIM)的扩展，是一种用来评价搜索词和文档之间相关性的算法，在Lucene中被应用在对查询结果的评分计算中。也就是对于一个Query查询到的文档与Query的相关度的评分计算。
BM25模型:

BM25算法模型

其中Q为Query，d标识搜索结果的文档，qi表示Query中的一个语素(分词)，Wi表示qi的权重，R(qi，d)表示语素qi与文档d的相关性得分。
这里的Wi的处理方式在Lucene中使用的是IDF算法，计算如下

IDF
N为文档的总数，n(qi)为包含qi的文档数，显而易见，当n(qi)越高时得分越低，语素的常见度越大则权重越低，因此在建索和查询时去除停止词也很有必要。
R(qi，d)：
R
K

这里fi为qi在d中的出现频率，K表示对文档长度的考虑，dl表示文档d的长度，avdl表示所有文档长度的平均值，k1和b则为调节因子，qfi表示qi在Query出现的频率，实际使用中通常为1，公式进一步简化：

完整公式
公式中的k1和b为经验参数Lucene中默认设置为k1=1.2;b=0.75
k1和b
综上公式可以看出，BM25对于相关性的计算中主要包含以下方面IDF 因子、文档长度因子、文档词频和查询词频
BM25
并且能够通过调节因子k1，k2，b对以上因子权重进行调整，b能够对文档长度因子进行调整，k2对查询词频因子进行调整，k1对文档词频因子进行调整。
综上我们对BM25的算法有了大致的了解，那么我们深入到Lucene中去，看一看具体的应用中是如何实现的：
在Lucene的package org.apache.lucene.search.similarities;包下面包含了评分有关的算法实现，其中BM25Similarity即是我们所使用的BM25算法的实现：




此处涉及到一个用户自定义的语素的权限

以上便是在Lucene中BM25具体的实现，我们在根据业务需要进行评分规则自定义时，也需从此处入手。
了解了规则和实现后，最后再通过一个实际使用的Query进行深入分析：
案例如下
e.g:
查询语句由 A - B - C基础条件组成，根据业务逻辑对A B C组合成与关系查询语句：
( A B C ) + ( * B * ) + C
通过explain()方法可以看到每一项的得分：

18.029978 = sum of:
  13.986211 = sum of:
    3.4537745 = weight(Field:A in 57939) [BM25Similarity], result of:
      3.4537745 = score(doc=57939,freq=2.0 = termFreq=2.0
), product of:
        2.916005 = idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:
          38503.0 = docFreq
          711057.0 = docCount
        1.18442 = tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:
          2.0 = termFreq=2.0
          1.2 = parameter k1
          0.75 = parameter b
          40.709637 = avgFieldLength
          64.0 = fieldLength
    3.281716 = weight(Field:B in 57939) [BM25Similarity], result of:
      3.281716 = score(doc=57939,freq=2.0 = termFreq=2.0
), product of:
        2.770737 = idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:
          44523.0 = docFreq
          711057.0 = docCount
        1.18442 = tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:
          2.0 = termFreq=2.0
          1.2 = parameter k1
          0.75 = parameter b
          40.709637 = avgFieldLength
          64.0 = fieldLength
    7.25072 = weight(Field:B in 57939) [BM25Similarity], result of:
      7.25072 = score(doc=57939,freq=2.0 = termFreq=2.0
), product of:
        6.1217475 = idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:
          1560.0 = docFreq
          711057.0 = docCount
        1.18442 = tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:
          2.0 = termFreq=2.0
          1.2 = parameter k1
          0.75 = parameter b
          40.709637 = avgFieldLength
          64.0 = fieldLength
  1.0 = MedicineName_filter:*B*, product of:
    1.0 = boost
    1.0 = queryNorm
  3.0437667 = weight(ContentLabel_filter:C in 57939) [BM25Similarity], result of:
    3.0437667 = score(doc=57939,freq=1.0 = termFreq=1.0
), product of:
      3.0437667 = idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:
        33885.0 = docFreq
        711057.0 = docCount
      1.0 = tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:
        1.0 = termFreq=1.0
        1.2 = parameter k1
        0.75 = parameter b
        1.0 = avgFieldLength
        1.0 = fieldLength

至此便是BM25在Lucene中的使用情况，相信看完对Lucene的打分有了一个基本的认识，作为检索引擎的核心，评分算法还有很多需要了解的，包括自定义，通过机器学习对业务更精准的排序等，后续有深入了解再做补充。