1.机器学习常见评价指标

为什么要用AUC作为二分类模型的评价指标呢？为什么不直接通过计算准确率来对模型进行评价呢？答案是这样的：机器学习中的很多模型对于分类问题的预测结果大多是概率，即属于某个类别的概率，如果计算准确率的话，就要把概率转化为类别，这就需要设定一个阈值，概率大于某个阈值的属于一类，概率小于某个阈值的属于另一类，而阈值的设定直接影响了准确率的计算。使用AUC可以解决这个问题，接下来详细介绍AUC的计算。

• AUC
  AUC是一个模型评价指标，用于二分类模型的评价。AUC是“Area under Curve（曲线下的面积）”的英文缩写，而这条“Curve（曲线）”就是ROC曲线。

ROC(Receiver Operating Characteristic)曲线,也就是受试者工作曲线，用于二分类判别效果的分析与评价.一般自变量为连续变量,因变量为二分类变量.

metric度量.png

然后，我们计算两个指标的值：
  True Positive Rate=TP/(TP+FN)，代表将真实正样本划分为正样本的概率 真阳率
  False Positive Rate=FP/(FP+TN)，代表将真实负样本划分为正样本的概率 伪阳率
  接着，我们以“True Positive Rate”作为纵轴，以“False Positive Rate”作为横轴，画出ROC曲线。类似下图：

类似图---ROC.png

• Precision、Recall、F-measure、Accuracy

  
  metric度量.png
  其他评测标准图.png

2.ROC-AUC图形绘制

• 导包

from sklearn.datasets import load_iris
from sklearn.model_selection import StratifiedKFold
from scipy import interp
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

• 线性插值和分层抽样
  1.线性插值举例

# 线性插值
# 根据已有的数据的规律,推算出新的数据
x1 = np.linspace(0, 2*np.pi, 20)
y1 = np.sin(x1)
plt.scatter(x1, y1, s=100, marker='o')

随机生成20点图.png

x2 = np.linspace(0, 2*np.pi, 50)
# 通过线性插值来生成y2的值
y2 = interp(x2, x1, y1)
plt.scatter(x1, y1, s=100, marker='o')
plt.scatter(x2, y2, s=100, marker='d')

通过线性插值生成的50个点图.png

• 代码部分

iris = load_iris()
data = iris.data
target = iris.target

# 分层取样
ss = StratifiedKFold(6)
for train,test in ss.split(data, target):
    # 返回的是训练数据和测试数据的索引值.
    print(train,  test)
    print('-----------------------------------------------')

# auc是一个二分类的评价指标.
# iris是三分类问题.所以我们要转化为2分类问题.
# 提取期中的两类数据即可.
cond = target != 2

X = data[cond]
y = target[cond]
display(X.shape, y.shape)

out:(100, 4)
    (100,)

# 加噪声, 为了auc能够体现出区别来.
data_ = np.hstack((X,np.random.randn(100,800)))
data_.shape
out:(100, 804)

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import auc, roc_curve

• 逻辑斯蒂回归画出roc

# 画出每一层数据的roc曲线
ss = StratifiedKFold(6)
i = 1

# fpr_mean 一定是在0到1之间.
# 人为的创建fpr_mean
fpr_mean = np.linspace(0,1, 100)
# 定一个空列表去接收每一次分层训练的tpr_mean
tprs = []
# 定义一个空的列表用来接收每次分层训练的auc,用来计算方差
aucs = []

for train,test in ss.split(data_, y):
    logistic = LogisticRegression()
    logistic.fit(data_[train], y[train])
#     logistic.predict(data_[test]) # 这样写,预测的结果就是0和1,即类别.
#     print(logistic.predict_proba(data_[test]))
    y_ = logistic.predict_proba(data_[test])
    # 获取roc曲线的x,y轴数据
    fpr, tpr, thresholds = roc_curve(y[test], y_[:,1])
#     print(fpr, tpr, thresholds)
#     print('--------------------------')
    # 有了fpr和tpr我们可以算auc
    auc_ = auc(fpr, tpr)
    aucs.append(auc_)
#     print(auc_)
    # 画出roc曲线
    plt.plot(fpr, tpr, label='fold %d auc: %.4f' % (i, auc_), alpha=.5)
    i += 1
    
    # 根据已有的fpr和tpr的关系,用线性插值求出已有的fpr_mean对应的tpr_mean
    tpr_mean = interp(fpr_mean, fpr, tpr)
    # 接收tpr_mean
    tprs.append(tpr_mean)
  

# 计算tpr_mean 
tpr_mean = np.array(tprs).mean(axis=0)
# 强行人为的把tpr_mean的一个元素改成0,最后一个元素改成1
tpr_mean[0] = 0
tpr_mean[-1] = 1

# 希望计算平均auc
auc_mean = auc(fpr_mean, tpr_mean)
# auc的方差
auc_std = np.array(aucs).std()

# 画出auc_mean对应的roc曲线
plt.plot(fpr_mean, tpr_mean, label='mean auc: %.4f$\pm$%.2f' % (auc_mean, auc_std), c='g')

plt.legend()

逻辑斯蒂回归计算的roc曲线图.png

• SVC画出的roc图

from sklearn.svm import SVC

# 画出svc的roc曲线
# 画出每一层数据的roc曲线
ss = StratifiedKFold(6)
i = 1

# fpr_mean 一定是在0到1之间.
# 人为的创建fpr_mean
fpr_mean = np.linspace(0,1, 100)
# 定一个空列表去接收每一次分层训练的tpr_mean
tprs = []
# 定义一个空的列表用来接收每次分层训练的auc,用来计算方差
aucs = []

for train,test in ss.split(data_, y):
    svc = SVC(probability=True)
    svc.fit(data_[train], y[train])
#     logistic.predict(data_[test]) # 这样写,预测的结果就是0和1,即类别.
#     print(logistic.predict_proba(data_[test]))
    y_ = svc.predict_proba(data_[test])
    # 获取roc曲线的x,y轴数据
    fpr, tpr, thresholds = roc_curve(y[test], y_[:,1])
#     print(fpr, tpr, thresholds)
#     print('--------------------------')
    # 有了fpr和tpr我们可以算auc
    auc_ = auc(fpr, tpr)
    aucs.append(auc_)
#     print(auc_)
    # 画出roc曲线
    plt.plot(fpr, tpr, label='fold %d auc: %.4f' % (i, auc_), alpha=.5)
    i += 1
    
    # 根据已有的fpr和tpr的关系,用线性插值求出已有的fpr_mean对应的tpr_mean
    tpr_mean = interp(fpr_mean, fpr, tpr)
    # 接收tpr_mean
    tprs.append(tpr_mean)
  

# 计算tpr_mean 
tpr_mean = np.array(tprs).mean(axis=0)
# 强行人为的把tpr_mean的一个元素改成0,最后一个元素改成1
tpr_mean[0] = 0
tpr_mean[-1] = 1

# 希望计算平均auc
auc_mean = auc(fpr_mean, tpr_mean)
# auc的方差
auc_std = np.array(aucs).std()

# 画出auc_mean对应的roc曲线
plt.plot(fpr_mean, tpr_mean, label='mean auc: %.4f$\pm$%.2f' % (auc_mean, auc_std), c='g')

plt.legend()

SVC的roc.png

• 总结
  在这个数据集中,logistic平均auc 0.7777, svc 是0.6802,稳定性方面,logistic方差是0.15, svc是0.31,所以稳定性也是逻辑斯蒂回归好.