分类

以手写数字图像识别为例

一、数据准备

1.下载MNIST数据集

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784')

2.获取数据和标签

X, y = mnist['data'], mnist['target'] 

3.画出数字

%matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

some_digit = X[0]
some_digit_image = some_digit.reshape(28, 28)
plt.imshow(some_digit_image, cmap=matplotlib.cm.binary)
plt.axis('off')
plt.show()

4.划分训练集和测试集的数据及标签

X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]

5.洗牌

import numpy as np
shuffle_index = np.random.permutation(60000)
X_train, y_train = X_train[shuffle_index], y_train[shuffle_index]

二、训练模型

以5-非5二分类为例

1.重新生成标签

为了满足二分类的需求，重新生成以True和False代表5和非5的标签

y_train_5 = (y_train == '5')
y_test_5 = (y_test == '5')

2.训练模型

（1）随机梯度下降分类模型

from sklearn.linear_model import SGDClassifier
sgd_clf = SGDClassifier(random_state=42)
sgd_clf.fit(X_train, y_train_5)

（2）决策树分类模型

from sklearn.tree import DecisionTreeClassifier
tree_clf = DecisionTreeClassifier()
tree_clf.fit(X_train, y_train_5)

三、模型测评

1.交叉验证

使用交叉验证测试决策树模型性能

from sklearn.model_selection import StratifiedKFold
from sklearn.base import clone
skfolds = StratifiedKFold(n_splits=3, random_state=42)

for train_index, test_index in skfolds.split(X_train, y_train_5):
    clone_clf = clone(tree_clf)
    # 找出分层随机选取的数据
    X_train_folds = X_train[train_index]
    y_train_folds = y_train_5[train_index]
    X_test_folds = X_train[test_index]
    y_test_folds = y_train_5[test_index]
    
    clone_clf.fit(X_train_folds, y_train_folds)
    y_pred = clone_clf.predict(X_test_folds)
    
    # 计算预测正确的数量
    n_correct = sum(y_pred == y_test_folds)
    
    # 打印正确率
    print(n_correct / len(y_pred))

注意：正确率不能作为模型好坏的衡量标准。

2.混淆矩阵

（1）一级指标

混淆矩阵

（2）二级指标

• 真阳性率 TPR = TP / (TP + FN)（召回率）
• 真阴性率 TNR = TN / (TN + FP)
• 假阳性率 FPR = FP / (FP + TN)
• 假阴性率 FNR = FN / (FN + TP)

精度与召回率

• 准确率（Accuracy） = TP + TN / (TP + TN + FP + FN)
• 精度（Precision） = TP / (TP + FP)
• 召回率（Recall） = TP / (TP + FN)

二级指标	作用
准确率（A）	反映分类器对整个样本的判定能力，能将正的判定为正，负的判定为负的能力
精度（P）	真正类 占 所有被判定为正类的比例（正类的判断正确率），衡量查准率
召回率（R）	真正类被判定为真正类的比例（真正类的鉴别率），衡量查全率

（3）三级指标

F1分数
F1分数（精度召回率权重一致时）
F1分数（β=召回率权重比精度权重）

• F1分数（F1-Score） = 2 / (1 / 精度 + 1 / 召回率) = 2 * (精度 * 召回率) / (精度 + 召回率)

# 混淆矩阵
from sklearn.metrics import confusion_matrix
confusion_matrix(标签向量, 预测向量)

# 精度、召回率、F1分数
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(标签向量, 预测向量)
recall_score(标签向量, 预测向量)
f1_score(标签向量, 预测向量)

3.精度召回率折衷

（1）决策分数

获取决策分数

y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method='decision_function')

（2）精度召回率曲线（Precision Recall Curves,PRC）

• precision_recall_curve()函数会返回精度、召回率、阈值

from sklearn.metrics import precision_recall_curve
precisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores)

• 作图

%matplotlib inline
import matplotlib.pyplot as plt

def plot_precision_recall_vs_threshold(precisions, recalls, thresholds):
    plt.plot(thresholds, precisions[:-1], 'g--', label='Precision')
    plt.plot(thresholds, recalls[:-1], 'b--', label='Recall')
    plt.xlabel('Threshold')
    plt.ylim([0, 1])
    plt.legend(loc='upper left')
    
plot_precision_recall_vs_threshold(precisions, recalls, thresholds)

• 查看精度和召回率的最佳值

def plot_precision_recall(precisions, recalls):
    plt.plot(recalls[:-1], precisions[:-1], 'b-')
    # plt.plot([0, 1], [0, 1], 'k--')
    plt.xlabel("recall")
    plt.ylabel("precision")
    plt.show()
    
plot_precision_recall(precisions, recalls)

（3）受试者操作特性曲线（Receiver Operating Characteristic,ROC）

ROC曲线：受试者工作特征曲线（接受者操作特性曲线）

纵轴：TPR=正类判定正确概率（真阳性率） = TP / (TP + FN)
横轴：FPR=负类判定错误概率（假阳性率） = FP / (FP + TN)

• 绘制ROC曲线

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(y_train_5, y_scores)

def plot_roc_curve(fpr, tpr, label=None):
    plt.plot(fpr, tpr, linewidth=2, label=label)
    plt.plot([0, 1], [0, 1], 'k--')
    plt.axis([0, 1, 0, 1])
    plt.xlabel("FPR")
    plt.ylabel("TPR")
    plt.show()
    
plot_roc_curve(fpr, tpr)

虚线代表随机分类器的ROC曲线

四、多类别分类器

两种思路：

• 1.一对多（OvA）（亦一对剩余，OvR）：以数字识别为例，训练10个分类器（0-非0,1-非1,2-非2，......），每个分类器只能识别一种数字。识别时，输入一张图片，运行10个分类器，哪个分类器分数最高即分为哪类。
• 2.一对一（OvO）：以数字识别为例，训练多个分类器（为每一对数字训练一个分类器：0-1，0-2，0-3，......，9-7,9-8）。识别时，输入一张图片，运行45个分类器，哪个分类器获胜最多即分为哪类。

OvO优点：每个分类器不需要对全部数据进行训练，只需对用到的两个类别的数据进行运算。

• 如果需要强制Scikit-Learn使用一对一或一对多策略，可以使用OneVsOneClassifier或OneVsRestClassifier类。
• 只需创建一个实例，然后传给分类器的构造参数即可。

from sklearn.multiclass import OneVsOneClassifier
ovo_clf = OneVsOneClassifier(SGDClassifier(random_state=42))
ovo_clf.fit(X_train, y_train)