scikit-learn 多分类混淆矩阵

前面

sklearn.metrics.multilabel_confusion_matrix 是 scikit-learn 0.21 新增的一个函数。看名字可知道是用来计算多标签的混淆矩阵的。不过也可以用它来计算多分类的混淆矩阵。MCM将多分类数据转化为2分类问题，采用one-vs-rest策略，即某一类为正样本，其余类别为负样本。每一类都作为正样本，计算混淆矩阵。按标签的顺序返回所有。
MCM 返回的每一个二分类混淆矩阵中，TN 在 [0, 0] ，FN 在 [1, 0] 是 , TP 在[1,1], FP 在 [0, 1] , 即

官方例子

## 如果导入报错，检查一下 sk-learn version >= 0.21
>>> from sklearn.metrics import multilabel_confusion_matrix
>>> y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
>>> y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
>>> mcm = multilabel_confusion_matrix(y_true, y_pred,
...                             labels=["ant", "bird", "cat"])
>>> mcm
array([[[3, 1],
        [0, 2]],
       [[5, 0],
        [1, 0]],
       [[2, 1],
        [1, 2]]])

以第一个类别 ‘ant’ 为例，预测对的有2个，它的负样本，'bird' 和 'cat' 预测对的有3个（‘bird’ 预测成 ‘cat’， 也算对的，因为它们是一类，都是负样本。）负样本预测成正样本的有一个。

评估指标

每一类的TP, FP等可以提取通过：

>>> tp = mcm[:, 1, 1]
>>> tn = mcm[:, 0, 0]
>>> fn = mcm[:, 1, 0]
>>> tp, tn
(array([2, 0, 2], dtype=int64), array([3, 5, 2], dtype=int64))

这里有几个常用的评估指标：

1. 敏感性（sensitivity）也叫召回率（recall），也叫查全率。这个指标是看一下正样本中预测对的占总正样本的比例。也可以说成预测器对正样本的敏感性，越大，说明预测器对正样本越敏感。
   
2. 特异性（specificity）这个和敏感性相反，敏感性算正样本的，而特异性算的是负样本的。换句话说，它是指负样本的敏感性。毕竟你的预测器，不能仅仅是对正样本敏感，负样本，就随意了。所以需要评估一下预测器对负样本的敏感性。
   
3. 查准率（precision), 这是看你预测为正样本中预测正确的占总的预测为正样本的比例。
   
4. f1值，一般而言，查全率和查准率是不能同时都很大的。举个例子：你现在有100个A和100个B，你用现在训练好的模型去预测A，预测到有80个A。但是这其中75个是正确的A。也就是说查准率是，查全率是。你觉得查全率太低，你继续改进模型。又进行了一次预测，这次预测到了95个A。其中预测正确的有85个，即查全率：,增加了0.1，但是查准率：下降了。你想查得越多，就更容易产生误差。为了照顾两头，使得两个指标都有不错得值，就有了f1值：
   

很容易通过代码获得多分类中每一类的评价指标值：

>>> sn = tp / (tp + fn) ## 其它同理
>>> sn
 array([1.        , 0.        , 0.66666667])x xz

利用one-vs-rest将多分类转化为二分类问题时，往往会丢失一些信息。在负样本中有多个类别，但不管在负样本中否预测到其本身的标签，只要不是预测为正样本标签就是正确的。所以不能很好的评价rest里的预测效果。想要更好的评价多分类，应考虑下宏平均或者微平均。

参考

sklearn.metrics.multilabel_confusion_matrix

公众号文章：scikit-learn 多分类混淆矩阵