P N
Y TP FP
N FN TN
TPR = TP/(TP+FN) = TP/P
FPR = FP/(FP+TN) = FP/N
TNR = TN/(TN+FP) = TN/N
FNR = FN/(FN+TP) = FN/P
precision = TP/(TP+FP) 精准率：找的准
recall = TP/(TP+FN) 召回率：找的全
accuracy = (TP+TN)/(P+N) 准确率：预测真正准确
F-mesure = ((a^2+1)*precision*recall)/(a^2*(precision+recall))
当 a=1时，为F1-mesure or F1-Score
F1-mesure = 2/(1/precision + 1/recall) = 2*precision*recall/(precision+recall)
F1-measure是精准率和召回率的调和平均数的2倍。
调和平均数的意义，是为了衡量A在空间B,C的总体平均分布程度（假设B,C不重叠）。
F-measure应该是精准率和召回率之间的一个平衡点。
如果多个模型结果进行对比的话，可能更加公平一些。
F1-Score较高时，说明实验结果比较理想。
AUC
一个正例，一个负例，预测为正的概率值比预测为负的概率值还要大的可能性。
绘制ROC曲线，ROC曲线下面的面积就是AUC的值。
横轴 X = FPR = FP/(FP+TN) = FP/N FPR越大，预测正类中实际负类越多。
纵轴 Y = TPR = TP/(TP+FN) = TP/P TPR越大，预测正类中实际正类越多。recall
理想目标：FPR=0, TPR=1, 即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好。
首先AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。
AUC 的一般判断标准
0.5 - 0.7： 效果较低，但用于预测股票已经很不错了
0.7 - 0.85： 效果一般
0.85 - 0.95： 效果很好
0.95 - 1： 效果非常好，但一般不太可能
AUC 的物理意义
曲线下面积对所有可能的分类阈值的效果进行综合衡量。曲线下面积的一种解读方式是看作模型将某个随机正类别样本排列在某个随机负类别样本之上的概率。以下面的样本为例，逻辑回归预测从左到右以升序排列：
网友评论