美文网首页
用Scikit-learn实现分类指标评价

用Scikit-learn实现分类指标评价

作者: ShowMeCoding | 来源:发表于2020-09-15 22:13 被阅读0次

1 分类指标评价计算示例

1、混淆矩阵(Confuse Matrix)

  • (1)若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
  • (2)若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
  • (3)若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
  • (4)若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
# 混淆矩阵创建
import numpy as np
from sklearn.metrics import confusion_matrix
y_pred = [0,1,0,1]
y_true = [0,1,1,0]
print('混淆矩阵:\n',confusion_matrix(y_true,y_pred))
混淆矩阵:
 [[1 1]
 [1 1]]

1.1 Accuracy计算

2、准确率(Accuracy) 准确率是常用的一个评价指标,但是不适合样本不均衡的情况。

  • Accuracy=(TP+TN)/(TP+TN+FP+FN)
​```python
# Accuracy计算
from sklearn.metrics import accuracy_score
y_pred = [0,1,0,1]
y_true = [0,1,1,0]
print('ACC:',accuracy_score(y_true,y_pred))
ACC: 0.5

1.2 Precision,Recall,F1-score计算

3、精确率(Precision) 又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。

  • Precision=TP/(TP+FP)

4、召回率(Recall) 又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。

  • Recall=TP/(TP+FN)

5、F1 Score 精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1_Score。
F1−Score=2/(1/Precision+1/Recall)

# Precision,Recall,F1-score计算
from sklearn import metrics
y_pred = [0,1,0,1]
y_true = [0,1,1,0]
print('Precision:',metrics.precision_score(y_true,y_pred))
print('Recall:',metrics.recall_score(y_true,y_pred))
print('F1-score:',metrics.f1_score(y_true,y_pred))
Precision: 0.5
Recall: 0.5
F1-score: 0.5

1.3 P-R曲线

6、P-R曲线(Precision-Recall Curve) P-R曲线是描述精确率和召回率变化的曲线

​```python
# P-R曲线
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
precision,recall,thresholds = precision_recall_curve(y_true,y_pred)
plt.title('P-R')
plt.plot(precision,recall)
plt.ylabel('recall')
plt.xlabel('precision')
output_27_1.png

1.4 ROC曲线

7、ROC(Receiver Operating Characteristic)
ROC空间将假正例率(FPR)定义为 X 轴,真正例率(TPR)定义为 Y 轴。
TPR:在所有实际为正例的样本中,被正确地判断为正例之比率。

  • TPR=TP/(TP+FN)

FPR:在所有实际为负例的样本中,被错误地判断为正例之比率。

  • FPR=FP/(FP+TN)
# ROC曲线
from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
plt.title('ROC')
plt.plot(FPR, TPR,'b')
plt.plot([0,1],[0,1],'r--')
plt.ylabel('TPR')
plt.xlabel('FPR')
output_28_1.png

1.5 AUC计算

8、AUC(Area Under Curve)
AUC(Area Under Curve)被定义为 ROC曲线下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。

# AUC
import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0,0,1,1])
y_scores = np.array([0.1,0.4,0.35,0.8])
print('AUC score:',roc_auc_score(y_true,y_scores))
AUC score: 0.75

1.6 KS计算

1、KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于:

  • ROC曲线将真正例率和假正例率作为横纵轴
  • K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。 公式如下:
  • KS=max(TPR−FPR)

KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。

KS(%) 好坏区分能力
20以下 不建议采用/
20-40 较好/
41-50 良好/
51-60 很强/
61-75 非常强/
大于75 过于高,疑似存在问题/

​```python
# KS计算,在实际操作时往往使用ROC曲线配合求出KS值
from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 1, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
KS=abs(FPR-TPR).max()
print('KS值:',KS)
KS值: 0.5238095238095237

相关文章

  • 用Scikit-learn实现分类指标评价

    1 分类指标评价计算示例 1、混淆矩阵(Confuse Matrix) (1)若一个实例是正类,并且被预测为正类,...

  • 分类评价指标

    1. 混淆矩阵(Confusion matrix) 定义: 混淆矩阵是数据科学、数据分析和机器学习中分类模型预测结...

  • 数据挖掘

    预测指标 分类常见的评估指标:对于二类分类器/分类算法,评价指标主要有accuracy, [Precision,R...

  • 多标签分类的评价方法

    基于排序的评价指标 TODO 2 基于分类的评价指标 2.1 document-pivoted binary 针对...

  • 分类的评价指标

    机器学习中的分类指标包括精确率、召回率、准确率和F函数等。 1)准确率(Accuracy)表示正确分类的测试实例的...

  • 住房购置选定模型

    住房购置选定分为内部与外部指标。 评价指标 内部 所谓楼品 设计 公摊 外部评价指标 按类别分类 距离: 医疗相关...

  • 模型评价指标 - 分类和回归任务

      根据模型处理的任务不同,评价标准也不同,分类任务和回归任务的评价指标如下: 分类:accuracy、误分类率、...

  • 评价-分类算法的评价指标

    二元分类评价 混淆矩阵 对于二元分类,通常可以输出混淆矩阵,看预测的情况,并从中总结出一些指标,给予评价。混淆矩阵...

  • AI面试第六弹(评价指标)

    一、分类问题指标 分类问题的评价指标多是基于以下混淆矩阵·真实值是positive,模型认为是positive的数...

  • 如何评价模型好坏

    数据集(训练&验证&测试)评价分类结果混淆矩阵分类评价指标准确率precision:召回率recallF1-sco...

网友评论

      本文标题:用Scikit-learn实现分类指标评价

      本文链接:https://www.haomeiwen.com/subject/bjjqyktx.html