https://blog.csdn.net/Mr_health/article/details/96600580
两者的区别与选择
既然已经这么多评价标准,为什么还要使用 ROC 和 AUC 呢?因为 ROC 曲线有个很好的特性:当测试集中的正负样本的分布变化的时候,ROC 曲线能够保持不变。在实际的数据集中经常会出现类不平衡(class imbalance)现象,即负样本比正样本多很多(或者相反),而且测试数据中的正负样本的分布也可能随着时间变化。下图是 ROC 曲线和P-R曲线的对比:
说明:图a和b是原始样本的ROC曲线和PR曲线,图c和d是将负样本增加10倍后的ROC曲线和PR曲线。
(1)从a和c可以看出,负样本增加10倍后,ROC曲线变化不大。分析一下为什么变化不大,固定一个threshold来计算TPR和FPR,其Y轴是,x轴是,当负样本增加了10倍时,对TPR(recall)没有影响,FPR的分母(TN+FP)变大了,但是正常概率来讲,这个时候超过threshold的负样本量(FP)也会随之增加,也就是分子也会随之增加,所以总体FPR变化不大。
(2)从b和d图可以看出,负样本增加10倍后,PR曲线变化比较大。其纵轴为,当负样本增加时,FP会增加,这时候precision会急速减小。因此P-R曲线会有明显的降低。b和d图示也非常明显的反映了这一状况,所以PR曲线变化很大,所以PR曲线对正负样本分布比较敏感。
如何选择呢?
(1)在很多实际问题中,正负样本数量往往很不均衡。比如,计算广告领域经常涉及转化率模型,正样本的数量往往是负样本数量的1/1000,甚至1/10000。若选择不同的测试集,P-R曲线的变化就会非常大,而ROC曲线则能够更加稳定地反映模型本身的好坏。所以,ROC曲线的适用场景更多,被广泛用于排序、推荐、广告等领域。
(2)但需要注意的是,选择P-R曲线还是ROC曲线是因实际问题而异的,如果研究者希望更多地看到模型在特定数据集上的表现,P-R曲线则能够更直观地反映其性能。
(3)PR曲线比ROC曲线更加关注正样本,而ROC则兼顾了两者。
(4)AUC越大,反映出正样本的预测结果更加靠前。(推荐的样本更能符合用户的喜好)
(5)当正负样本比例失调时,则ROC曲线变化不大,此时用PR曲线更加能反映出分类器性能的好坏。原因是,当样本严重倾斜时,我们假定召回率不变,那么表现较差的模型必然会召回更多的负样本,那么FP(假正例)就会迅速增加,precision就会大幅衰减。因此P-R曲线相比较于ROC曲线能够更加直观的表现模型之间的差异,更加合适。
————————————————
版权声明:本文为CSDN博主「Mr_health」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Mr_health/article/details/96600580
网友评论