一些表示方法：
1）True positives(TP): 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；
2）False positives(FP): 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；
3）False negatives(FN): 被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
4）True negatives(TN): 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。
1.分类问题
- 1）正确率（accuracy）
正确率是我们最常见的评价指标，这个很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。 - 2）错误率（error rate)
错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate； - 3）灵敏度（sensitive）
sensitive = TP/P，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力； - 4）特效度（specificity)
specificity = TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力； - 5）精度（precision）
精度是精确性的度量，表示被分为正例的示例中实际为正例的比例， - 6）召回率（recall）
召回率是覆盖面的度量，度量有多个正例被分为正例,可以看到召回率与灵敏度是一样的。 - 7）F-score
当想要同时衡量精度和召回率时，就需要引入一个新的标准，即F-score：
当β=1时，称为F1-score。（同理，β=2时，称为F2-score）
这时，精确率和召回率都很重要，权重相同。当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，如果我们认为召回率更重要些，那就调整β的值大于1。
2.分割问题
- 1)mAP
- 2)mIOU
3.ROC曲线和AUC值
ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR），其中，FPR,TPR分别为：
对于二分类模型，输出的是一个（0-1）间的概率而不是直接输出0，1值，我们通常需要制定某一阈值threshold来使得输出分类到0和1，由于不同threshold的制定，会使得FPR,TPR发生相应的变化，这是绘制ROC曲线的依据。
- AUC值就是ROC曲线下包围的面积
1）AUC值可以作为模型的直接优化目标来进行优化
2）AUC和ROC曲线的优势
我们知道，测试时，更改正负样本的比例，会改变P,R的值，而ROC,AUC受其的影响就比较小。
下图（a）,(b)为正常正负样本比例下的ROC曲线和Precision-Recall曲线，（c）,(d)是不平衡正负样本比例下的ROC曲线和Precision-Recall曲线。
网友评论