信息检索复习（4）——信息检索系统评估

无序检索结果的评价方法

正确率、召回率、F值

• 正确率（Precision）P = 返回结果中相关文档的数目/返回结果的数目 = P(relevant/retrieved)

• 召回率（Recall）R = 返回结果中相关文档的数目/所有相关文档的数目 = P(retrieved/relevant)

  
  
  

  P = tp / (tp + fp)
  R = tp / (tp + fn)

• F值：正确率和召回率的调和平均值
  
  当a = 1时，就是最常见的F值：F = 2PR / (P+R)
  当a > 1时，强调召回率
  当a < 1时，强调正确率

有序检索结果的评价方法

• 差值正确率p(interp)：在某个召回率水平r上的差值正确率定义为对于任意不小于r的召回率水平r'所对应的最大正确率

• 平均正确率均值MAP：
  AP:对每个Recall点的Precision求和取平均

  
  MAP

• ROC曲线：ROC（Receiver Operating Characteristic）曲线是以假阳率或1-特异度（FP_rate）和真阳率或敏感度（TP_rate）为轴的曲线，ROC曲线下面的面积我们叫做AUC，曲线与FP_rate轴围成的面积（记作AUC）越大，说明性能越好，即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好，曲线越靠近B点（右下方）曲线性能越差。

  
  ROC曲线