1、IOU
分割或者目标检测预测prediction
,可以分成4个部分:
1、true negative(TN)把区域A,预测为是背景,并且确实是背景
2、false negative(FN)画出了一块区域B,预测是背景,但是实际上是标签
3、false positive(FP)画出一块区域C,预测是标签,其实是背景
4、true positive(TP)画出一块区域D,预测是标签,确实是标签
在评价的时候常用的指标有:IOU(交并比,也有叫做IU的),像素准确率(pixel-accuracy),有的时候还有平均准确率(mean-accuracy)
总结一下:看最后一个字母是N就是预测是背景,那么真实的标签是不是背景呢?看第一个字母,是T就是,预测的是背景,确实是背景;是F,就说明,预测是背景,其实是标签;再来,看第二个字母是P,说明预测是标签,是不是呢?看第一个字母,是T,预测的标签,事实确实就是标签,是F,预测是标签,事实上是背景。
然后
再通俗地说就是
不好意思,上面的图画错了,T和P的颜色和对应关系画反了,应该是:
这个图
解释一下我画的图:
nIOU是预测是标签真实确实是标签的所有像素 / (你预测的部分的像素 + 真实标签的像素 - 分子)
2、混淆矩阵
混淆矩阵是一个总结分类器所得结果的矩阵,一般为k行k列(k为分类的类别数)。以二分类为例,混淆矩阵如下图所示。
- 假阳性率(FPR)
FP就是预测是标签,但是实际上是背景,希望这件事情不要发生,所以假阳性率越小越好。
再说一下上面的公式:FP,假阳,预测是标签,实际是背景,预测错了,用FP比上(FP+TN),比上它自己然后加上,TN,就是预测是背景,并且预测对了,所以就是
记住FP就是背景,怎么看,先看P标签,再看F,假的,假的标签就是背景
TN,一看N背景,再看T真的,真背景,显然是背景
所以FP+TN就是总的背景的像素数。
希望模型别老把背景认成标签,希望你小一点,(你就是这个假阳率指标) - 真阳性率(TPR)
TP就是预测的是标签,实际上它确实是标签,说明预测对了,所以希望真阳性率越大越好。(也是召回率的公式)
希望模型把标签的区域都预测出来啊,所以希望你大一些
通过设定一个阈值如0.6,概率大于等于0.6的为标签,小于0.6的为背景。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小,越来越多的实例(比如像素)被划分为标签,但是这些标签中同样也掺杂着真正的背景,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。
3、ROC曲线
ROC曲线是Receiver Operating Characteristic Curve的简称,中文名是受试者工作特征曲线。
如何画ROC曲线:
(1)首先,ROC曲线的横坐标是假阳性率FPR,纵坐标是真阳性率TPR。
(2)其次,明确计算ROC的时候,预测值y_pred一般都是[0, 1]的小数(代表预测为正样本的概率),真实值y_true为0或1。如果计算FPR和TPR,我们就需要知道预测的正负样本情况,但给的预测值是小数,如何划分预测的正负样本呢?答案是选取截断点(阈值)。
(3)截断点是指区分正负预测结果的阈值。比如截断点=0.1,那就表示y_pred<0.1的为预测为负样本,y_pred>=0.1预测正样本。所以绘制ROC曲线需要不断移动“截断点”(调整阈值)来得到所有的(FPR,TPR)点,然后把这些点用线段连起来就是ROC曲线了。
详细过程见我写的word文档。
网友评论