混淆矩阵

简介

混淆矩阵是衡量分类模型准确度中最基本、直观，计算最简单的方法。混淆矩阵就是一张表，展示预测值各类归对、归错的个数。下面放个小例子。

小例子

上面的小例子是分类问题中最简单的二分类，只需要判断结果是0还是1，或者说是negative还是positive。

表中已经给出四种结果，这四种是混淆矩阵的四个基础指标：

• 真实值是Positive，模型认为是Positive的个数（True Positive = TP）
• 真实值是Positive，模型认为是Negative的个数（False Negative = FN），统计学上的Type I Error（去真）
• 真实值是Negative，模型认为是Positive的个数（False Positive = FP），统计学上的Type II Error（存伪）
• 真实值是Negative，模型认为是Negative的个数（True Negative = TN）

将这四个指标一起呈现在表格中，就能得到混淆矩阵（Confusion Matrix），如下图。

混淆矩阵

sklearn中混淆矩阵

sklearn.metrics.confusion_matrix(y_true, y_pred, labels=None, sample_weight=None)

函数功能：

计算混淆矩阵以评估分类器的准确性。

在混淆矩阵中，的含义是实际上是类但被错误预测为类的样本个数。

所以在二分类中，True Negative的个数是，False Negative的个数是，True Positive的个数是，False Positive的个数是。

参数

• y_true : array, shape = [n_samples]

  实际目标结果，真实值

• y_pred : array, shape = [n_samples]

  分类器返回的预测值

• labels : array, shape = [n_classes], optional

  矩阵索引的标签列表。这可用于重新排序或选择标签的子集。如果没有给值，那么在y_true或y_pred中至少出现一次的那些值按排序顺序使用。

• sample_weight : array-like of shape = [n_samples], optional

  样本权重

返回值

• C : array, shape = [n_classes, n_classes]

  混淆矩阵

示例

>>> y_true = [2, 0, 2, 2, 0, 1]
>>> y_pred = [0, 0, 2, 2, 0, 2]
>>> confusion_matrix(y_true, y_pred)
array([[2, 0, 0],
       [0, 0, 1],
       [1, 0, 2]])

>>> y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
>>> y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
>>> confusion_matrix(y_true, y_pred, labels = ['bird','ant','cat'])
array([[0, 0, 1],
       [0, 2, 0],
       [0, 1, 2]])

在二分类问题中，我们可以提取True Positive等值，如下所示。

>>> tn, fp, fn, tp = confusion_matrix([0, 1, 0, 1], [1, 1, 1, 0]).ravel()
>>> (tn, fp, fn, tp)
(0, 2, 1, 1)

衍生指标

• 准确率（Accuracy）——针对整个模型
• 精确率（Precision）
• 灵敏度（Sensitivity）——召回率（Recall）
• 特异度（Specificity）

其中，Precision和Recall可以看下面的具体例子。

四种指标的公式和含义见下表。

	公式	含义
准确率ACC		所有预测正确的结果占总观测值的比例
精确率PPV		所有判断为Positive的结果中，分类正确的比例
灵敏度TPR		在所有真实值为Positive的结果中，分类正确的比例
特异度TNR		在所有真实值为Negative的结果中，分类正确的比例

其中，将Precision 和 Recall组合计算可以得到一个称为F1 score 的指标，如果召回和精确度都很高，分类器将获得高F 1分数。

代码示例

>>> from sklearn.metrics import precision_score, recall_score, f1_score
>>> y_true = [0, 0, 1, 0, 1, 0]
>>> y_pred = [0, 1, 0, 1, 1, 0]
>>> precision_score(y_true, y_pred)
0.3333333333333333
>>> recall_score(y_true, y_pred)
0.5
>>> f1_score(y_true, y_pred)
0.4

---

都看到最后了，要不~点个赞？加波关注？