美文网首页
评价指标

评价指标

作者: HelloSam | 来源:发表于2021-04-03 19:29 被阅读0次

1、IOU

分割或者目标检测预测prediction,可以分成4个部分:
1、true negative(TN)把区域A,预测为是背景,并且确实是背景
2、false negative(FN)画出了一块区域B,预测是背景,但是实际上是标签
3、false positive(FP)画出一块区域C,预测是标签,其实是背景
4、true positive(TP)画出一块区域D,预测是标签,确实是标签
在评价的时候常用的指标有:IOU(交并比,也有叫做IU的),像素准确率(pixel-accuracy),有的时候还有平均准确率(mean-accuracy)

总结一下:看最后一个字母是N就是预测是背景,那么真实的标签是不是背景呢?看第一个字母,是T就是,预测的是背景,确实是背景;是F,就说明,预测是背景,其实是标签;再来,看第二个字母是P,说明预测是标签,是不是呢?看第一个字母,是T,预测的标签,事实确实就是标签,是F,预测是标签,事实上是背景。

然后
IOU=\frac{真实标签和预测的交集}{真实标签和预测的并集}=\frac{TP}{TP+FP+FN}
再通俗地说就是
IOU=\frac{预测是标签确实是标签的部分}{分子+预测是标签但是其实是背景+预测的背景但是其实是标签}


不好意思,上面的图画错了,T和P的颜色和对应关系画反了,应该是:
这个图

解释一下我画的图:
nIOU是预测是标签真实确实是标签的所有像素 / (你预测的部分的像素 + 真实标签的像素 - 分子)
nIOU=\frac{TP[i]}{T[i]+P[i]-TP[i]}

2、混淆矩阵

https://zhuanlan.zhihu.com/p/360765777

混淆矩阵是一个总结分类器所得结果的矩阵,一般为k行k列(k为分类的类别数)。以二分类为例,混淆矩阵如下图所示。


  • 假阳性率(FPR)
    FPR = \frac{FP}{FP+TN}
    FP就是预测是标签,但是实际上是背景,希望这件事情不要发生,所以假阳性率越小越好。
    再说一下上面的公式:FP,假阳,预测是标签,实际是背景,预测错了,用FP比上(FP+TN),比上它自己然后加上,TN,就是预测是背景,并且预测对了,所以就是
    假阳率=\frac{把背景误认为是标签的像素数}{总背景像素数}
    记住FP就是背景,怎么看,先看P标签,再看F,假的,假的标签就是背景
    TN,一看N背景,再看T真的,真背景,显然是背景
    所以FP+TN就是总的背景的像素数。
    希望模型别老把背景认成标签,希望你小一点,(你就是这个假阳率指标)
  • 真阳性率(TPR)
    TPR = \frac{TP}{TP+FN}
    TP就是预测的是标签,实际上它确实是标签,说明预测对了,所以希望真阳性率越大越好。(也是召回率的公式)
    真阳率=\frac{预测对的标签区域的像素数}{所有的标签区域的像素数}
    希望模型把标签的区域都预测出来啊,所以希望你大一些

通过设定一个阈值如0.6,概率大于等于0.6的为标签,小于0.6的为背景。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小越来越多的实例(比如像素)被划分为标签,但是这些标签中同样也掺杂着真正的背景,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。

3、ROC曲线

ROC曲线是Receiver Operating Characteristic Curve的简称,中文名是受试者工作特征曲线
如何画ROC曲线:

(1)首先,ROC曲线的横坐标是假阳性率FPR,纵坐标是真阳性率TPR。
(2)其次,明确计算ROC的时候,预测值y_pred一般都是[0, 1]的小数(代表预测为正样本的概率),真实值y_true为0或1。如果计算FPR和TPR,我们就需要知道预测的正负样本情况,但给的预测值是小数,如何划分预测的正负样本呢?答案是选取截断点(阈值)。
(3)截断点是指区分正负预测结果的阈值。比如截断点=0.1,那就表示y_pred<0.1的为预测为负样本,y_pred>=0.1预测正样本。所以绘制ROC曲线需要不断移动“截断点”(调整阈值)来得到所有的(FPR,TPR)点,然后把这些点用线段连起来就是ROC曲线了。

计算ROC
详细过程见我写的word文档。

相关文章

  • 评价指标

    用户满意度 预测准确度 覆盖率:用基尼系数,流行度越平均,基尼系数越低 多样性:指物品间的多样性,物品间的相似度越...

  • 评价指标

  • 评价指标

    AUC(Area under curve): ROC曲线下的面积。 AUC详解 :参考链接

  • 评价指标

    他写得超好,刚好看到的论文用到NDCG是用的DCG / IDCG。https://www.cnblogs.com/...

  • 评价指标

    假定一定有k+1类(包括k个目标类和1个背景类),表示本属于i类却预测为j类的像素点总数,具体地,表示true p...

  • 评价指标

    TP,FP,TN,FN P与N代表预测结果,P为正样本,N为负样本。T与F代表预测结果是否正确。 召回率,精确率,...

  • 评价指标

    1、IOU 分割或者目标检测预测prediction,可以分成4个部分:1、true negative(TN)把区...

  • 多标签分类的评价方法

    基于排序的评价指标 TODO 2 基于分类的评价指标 2.1 document-pivoted binary 针对...

  • 住房购置选定模型

    住房购置选定分为内部与外部指标。 评价指标 内部 所谓楼品 设计 公摊 外部评价指标 按类别分类 距离: 医疗相关...

  • 通过报表监控指标,不断更新指标体系

    一级指标是用来评价公司或部门运营情况最核心的指标。 一级指标并非只能是一个指标,有可能需要多个指标来综合评价。 例...

网友评论

      本文标题:评价指标

      本文链接:https://www.haomeiwen.com/subject/cwebhltx.html