美文网首页
信息检索评价指标

信息检索评价指标

作者: NLP与人工智能 | 来源:发表于2021-04-11 23:05 被阅读0次

    信息检索评价指标可以对一个检索系统的性能进行评价,在信息检索的研究领域中,有很多的排名质量评价指标。例如 MAP,NDCG,MRR,ERR 等,其中 NDCG 和 ERR 等指标可以处理不同的相关性等级 (文档之间的相关性分等级,0,1,2,3 等);而 MAP 和 MRR 只能处理相关和不相关两种情况。

    1.Precision、Recall、F1

    Precision 是准确率,Recall 是召回率,F1 是准确率和召回率的调和平均,这些都是分类问题中常见的指标。在信息检索中,适用于文档只分相关和不相关的情况。

    计算公式如下

    Precision、Recall、F1

    2.Average Precision (AP)

    (AP) Average Precision 指平均准确率,是在不同的召回率上的准确率求平均。假设我们的检索系统找出了下面 10 篇文章,最上面的是系统认为最相关的文章,最下面的是系统认为最不相关的文章。

    然后切换阈值,使每次只采用前 k 个文章作为筛选结果,可以得到不同的召回率和准确率,如下图所示,k 从 1 到 10。

    top k 召回率和准确率

    这时对准确率求平均就是 AP 值。

    AP 值

    除了上述方法计算 AP 值外,还可以取不同的召回率值,例如从 0, 0.1, 0.2, ..., 1 的召回率,然后计算在这种召回率下准确率的平均值。

    (MAP) Mean Average Precision 是采用不同的查询,分别计算得到 AP 值,然后计算这些 AP 值的平均。

    MAP 值

    3.Cumulative Gain (CG)

    (CG) Cumulative Gain 累计效益,对于所有的文档,都有一个对应的相关度 g,如 0, 1, 2, 3, 4,相关度越高表示文章与查询越相关。假设一共检索得到 T 个文档,CG 计算的就是这 T 个文档的相关度之和。

    CG 计算公式

    (DCG) Discounted Cumulative Gain CG 计算的时候只是简单的把 T 个文档的相关度相加,并没有考虑文档的排名顺序。

    例如文档 A 相关度为 4,文档 B 相关度为 3,文档 C 相关度为 0。

    两个检索系统返回的文档顺序分别是 (A,B,C) 和 (C,B,A),则这两个系统计算得到的 CG 值都是一样的,但是明显第一个系统返回的结果更加合理。

    DCG 在 CG 的基础上加上了排名位置信息作为分母,排名越靠后的文章对于指标值的影响越小,DCG 有两种计算公式。

    DCG 计算公式

    (IDCG) Ideal DCG 理想状态下的 DCG 值,把检索到的 T 个文档按照相关度从高到低排列 (即最理想的排列顺序),然后在这个顺序下计算 DCG 值。

    (NDCG) Normalized DCG 归一化的 DCG 值,不同的查询返回的文档个数 T 通常是不同的,所以不能直接使用 DCG 进行比较,也不能直接对不同查询的 DCG 求均值。通过 NDCG 进行归一化之后,得到的值在 0-1 之间,此时可用于多个查询的情况。

    NDCG 计算公式

    4.Reciprocal Rank (RR)

    (RR) Reciprocal Rank 排名的倒数,文档在检索结果中有一个排名,RR 计算的是第一个相关的文档在检索结果中的排名的倒数。例如对于查询 i 来说,第一个相关的文档排名是 rank(i),则 RR 如下。

    RR 计算公式

    (MRR) Mean RR 多个查询结果的 RR 值求均值,如下,N 为查询次数。

    MRR 计算公式

    (ERR) Expected RR 假设用户会按照顺序查阅检索到的文档,可以计算用户点击位置 r 文档的概率 Pr,此概率是一个关于文档相关度等级 g 的函数,如下。

    从上式可以看到,Ri 表示用户对文档 i 感兴趣的概率。计算 Pr,则要知道位置 r 之前的文档 i 用户不感兴趣的概率 (1-Ri)。

    ERR 是对每个位置 r 的 Pr 值加权平均,和 NDCG 类似,ERR 也考虑了位置的影响,即位置越靠后权重越低。如下所示。

    ERR 计算公式

    5.参考文献

    相关文章

      网友评论

          本文标题:信息检索评价指标

          本文链接:https://www.haomeiwen.com/subject/efzzkltx.html