混淆矩阵
| - | 预测为真 | 预测为假 |
|---|---|---|
| 标签为真 | TP | FN |
| 标签为假 | FP | TN |
正确率(accuracy)
image.png
该评价指标容易受到正负样本不平衡影响，若正样本数量很少，也可以得到高正确率的模型，但是并没有实际作用（模型基本没学到正样本的特征）。为了解决这一问题，因此提出了准确率和召回率。
准确率(precision)
image.png
该评价指标衡量正确预测正样本占实际预测为正样本的比例。
召回率(recall)
image.png
该评价指标可以衡量正确预测正样本占正样本的比例。
F1值
一般来说模型的召回率越高，模型的准确率越低；模型的准确率越高，召回率越低。（越贪心犯错的概率就越大）那麽可以看出过高的召回率或者过高的准确率都不是理想的指标，因此就提出了采用召回率和准确率的调和平均值F1值作为评价指标：
image.png
为什莫要采用调和平均数？
四种平均数大小关系：调和平均数≤几何平均数≤算术平均数≤平方平均数。可以看出调和平均数最接近较小值。
相关参数选择
如果是多分类情况下，在使用F1分数时可以选择是micro还是macro，macro指对单个类别计算F1值，再用其算数平均值作为最终结果；而micro将全部类别当作一个整体，只计算1次F1值。因此macro受到样本较少类别影响大，micro受样本较多类别影响大。
灵敏度(sensitivity)
灵敏度其实就是召回率
image.png
特异度(specificity)
image.png
该评价指标可以衡量正确预测负样本占负样本的比例。
1 - 特异度
image.png
该评价指标可以衡量错误预测负样本占负样本的比例。
ROC曲线
灵敏度又称为真正率，1-特异度又称为假正率，可以看出真正率和假正率都是基于真实样本的条件概率，因此可以有效解决正负样本不平衡的问题。真正率关心的是全体正样本中有多少被预测为真，假正率是关心全体负样本中有多少被预测为真。ROC曲线就是在不同的threshold的条件下（预测结果大于threshold记为预测结果为真，反之为假），将其对应的真正率和假正率作为（y，x）坐标绘制而成。如下图所示：
在这里插入图片描述
AUC(area under curve)
为ROC曲线下的面积，曲线下面积越大越好
网友评论