备注

      性能度量即是找到一个评价标准，来对模型的泛化能力进行量化评价。

      不同的性能度量标准往往会有不同的度量结果，因此需要根据具体的任务需求与样本内容，来选择相应的性能度量方法。

一、基本概念

1、性能度量

    性能度量的原理就是对于样本集D={(x1,y1),(x2,y2)~~~(xm,ym)}，对于一个样本特征xi，最终产生的结果为yi，评估学习器的性能，就是将学习器f(xi)的结果与yi进行对比。

2、均方误差

   均方误差反映了训练结果与真实值之间的偏离关系，因此常被用在回归类任务的结果性能度量

均方误差公式

    以上误差出现在每个样本独立同分布的情况下，更一般的，考虑到样本的分布D及出现的概率，该公式为：

考虑样本分布的均方误差公式

3、分类结果混淆矩阵

以二分类为例，根据真实类别与预测结果类别，会有以下四种类别组合情况的出现：

1）、真正例：事实为正例，训练结果也是正例，表示为TP

2）、真反例：事实为反例，训练结果也是反例，表示为TN

3）、假正例：事实为反例，训练结果为正例，表示为FP

4）、假反例：事实为正例，训练结果为反例，表示为FN

从上图可以看出：FP+FN+TP+TN=样例总数

二、错误率与精度

最简单，也是最常用的两种度量方法就是错误率和精度，对于离散类任务有较好的描述性。

1、错误率

 错误率是分类错误的样本数占样本总数的比例，关注的要点是训练的结果准确率

错误率计算公式

2、精度

精度就是分类正确的样本数占总样本的比例（即1-错误率）

精度计算公式

三、查准率、查全率与F1

       错误率和精度主要是总体上评估训练器的性能，但是如果我们着眼于我们想要关注的结果上，因此查准率及查全率更能影响我们选择该模型的决策。

1、查准率

 当我们需要“用户检索出来的信息中，真正需要的比例”，或者“挑出来的西瓜有多少是甜的”的时候，就用到了查准率：

 字面意思就是，预测的结果为正例的时候，真正的正例所占的比例

2、查全率

当我们需要“用户感兴趣的内容中，有多少被检索出来了”，或者“所有的好瓜中，有多少被挑出来了”的时候，用到了查全率：

字面意识就是，预测的结果与真实结果一致的样本中，正例所占的比例。

3、F1测评

    由于查准率和查全率是一个比较矛盾的值，查准率越高的时候，往往样本的查准率就越差，原因就在于查准率较高，则TP尽量控制的很大，就会将一些不太匹配的正样本给抛弃，变成FN，因此查准率就会下降。

      如果将预测的结果按照正例的概率进行排序，然后从小到大依次将样本归为正例进行预测，那么此时每一次将样本归为正例时，计算此时的查全率和查准率，形成的一个二维曲线即为P-R曲线：

P-R曲线

       正常情况下，一个曲线C被另一个曲线B完全包住，那么B的模型预测的性能要好于C的模型，但是如果两个模型的P-R出现相交的情况时，就不能通过P-R进行测评了，此时需要采用F1进行评测。

4、F1测评

       F1测评的方法是，计算模型的查准率和查全率的调和平均，可以避免出现查全率或查准率为1而另一端为0的极端情况出现，当一个值很高一个值很低的时候，总体的评价性能仍然非常好。

其中，当实际问题对于查准率或者查全率有偏好的时候，可以设置一个权重，以增加偏好对性能的影响，即为：

其中β度量了查准率对查全率的重要性，β>1的时候，查全率更重要，反之查准率更重要，β=1的时候，即为正常的F1测评。

四、ROC与AUC

ROC的使用场景更多，也更常见：

1、ROC模型

    ROC中是一种对正例进行检验的曲线，主要通过真正例率和假正例率来进行描绘：

     1）、真正例率：选择的样例中，正例占据所有正例样本的比例

     2）、假正例率：选择的样例中，反例占据所有反例样本的比例

    一个典型的ROC曲线图如下：

2、ROC曲线的计算方式

    ROC曲线中，x轴代表假正例率，一个单位即为（1/反例的个数），y轴代表真正例率，一个单位为（1/正例的个数）。

     1）、根据学习器的结果，对样例进行打分，分数越高，则正例的可能性越大，

     2）、对样例进行排序，依次将分值最高的样例归为正例进行验证。

     3）、如果该样例为正例，则重新计算TPR,此时FPR值不变，反映在曲线上，即y轴+1个格。

     4）、如果该样例为反例，则重新计算FPR,此时TPR值不变，反映在曲线上，即x轴+1个格。

3、AUC计算

      AUC即为ROC曲线与x轴包围的面积大小，AUC的值越大，性能越好。

AUC计算公式

      1）、AUC是一个概率值，当分类算法越容易将正样本排在负样本之前的时候，AUC的值越大。

      2）、越靠近（0，1）坐标的ROC曲线，性能越好。