当我们训练好了一个模型后，如何去评价这个模型的优劣呢？最直接的办法当然是拿着这个模型去做实际的判断，比如人脸识别的人工智能，我们将有各种图片（含有人脸的与不含人脸的）输入给模型，让它判断是否有人脸，然后看看有多少比例是正确的，多少比例是错误的。这就是错误率概念和精度概念的来源，是最直接的一种评估方式。
错误率和精度的定义如下：
分类错误的样本数占样本总数的比例称为错误率（error rate），精度正好是(1-错误率)
但是有一点需要清楚，就是往往我们的样本空间趋近于无穷大，那么如何计算这个错误率呢？所以最后我们仍然是选择一个有限的样本集，然后根据实际的测试结果来计算这个有限样本集的错误率和精度，我们认为这个错误率是趋近于实际的错误率的。当然实际计算的时候选择样本集以及如何计算又会有许多不同的方法，但总体思路都是如此。
通常我们把训练集上的误差称为训练误差（traning error），把新样本上的误差称为泛化误差（generalization error）。通常我们的目标就是要得到泛化误差小的模型，泛化误差越小越好。
但有时候我们在训练集上的误差很小，实际用于新样本时反而可能更差，原因就在于我们的训练样本有限，我们的模型会把训练集特有的特征认为是所有样本空间中样本都应具有的特征，导致泛化能力下降，这种现象就叫做过拟合（overfitting），与过拟合相对的就是欠拟合（underfitting），即会欠缺某些通用特征，导致不符合分类标准的样本也分到相应的类中。我们还以人脸识别为例，如果我们的训练集中绝大部分都是成年人，那么当我们将含有儿童头像的照片给模型时，可能它会认为不是人脸（因为不具有成年人的脸部特征），这时我们就会说过拟合了。而如果它不仅识别了儿童人脸，还将小狗的图片也识别为人脸，这个时候我们就说是欠拟合了。
通过上面的描述，我们知道了通常我们是无法得到泛化误差的，而训练误差又存在过拟合现象，那么实际又是如何评价模型的优劣呢？
要评价一个模型的优劣，需要两样东西，一是合适的样本集，二是用什么指标来评价。
选择合适的样本集来评价模型的泛化能力通常有以下几种方法：
1，留出法
留出法很直接，即将已有的样本集分成两部分，一部分用作训练，另一部分用来做评估。实际使用时会有很多变形，比如随机抽取n个样本作为测试集，剩余样本作为训练集，可以这样随机抽取100次，然后将每次训练集的训练结果加总算出平均值，作为最后的评估结果。
2，交叉验证法
交叉验证是将数据分为k个大小相似的互斥子集，每个子集尽可能保持分布的一致性，然后每次选出一个子集作为测试集，剩余子集作为训练集，这样可以得出一个评估结果，同样的方法，最后这k个子集分别作为测试集会得出k个评估结果，然后用这k个评估结果就可以算出一个平均值作为最后的结果。
我们通常把这种交叉验证叫做K折交叉验证，而最常用的是10折交叉验证，即分成十个子集分别评估。
3，自助法
前两种方法由于在测试时使用的是全部数据集的一个子集，这样就有可能引入偏差，而自主法就是一个比较好的解决方案，它以自助采样法为基础。自助采样法是说从有m个样本的数据集D中，随机抽取一个样本放入D'中，然后再将该样本放回D中，然后再次随机抽取，如此重复m次就有了一个新的数据集D'，D'就是自助采样结果。通常当样本数较少时采用这个方法会有比较好的效果。
现在有了测试样本集和训练样本集了，那么用什么指标来评价呢？
实际上不同的任务，评价的方法是不同的。
回归任务：通常采用“均方误差”（mean squared error）
pic1.png
聚类任务：通常通过Jaccad系数，FM指数，以及Rand指数来评价
分类任务：有以下几种指标
1，文章开头提到的错误率和精度，这是最常用最直接的指标
2，有时候我们需要看看，在针对某一个分类选出来的数据中正确的有多少，或者某个分类的全部样本中有多少被正确选择了出来，前者我们可以用“查准率”（precision，有时翻译成“精确率”）来判断，后者我们可以通过“查全率”（recall，有时翻译成“召回率”）来判断。这里需要先搞清楚几个概念：
真正例（True positive），使用TP来表示真正例的样本数
假正例（false positive），使用FP来表示假正例的样本数
真反例（true negtive），使用TN来表示真反例的样本数
假反例（false negative），使用FN来表示假反例的样本数
我们用一个例子来解释这些概念，假设我们有200个样本，其中100个样本其真实的标记为好瓜，另外100个标记为坏瓜。我们通过模型来分析后，判断出其中有90个好瓜被归为好瓜，还有5个坏瓜被判断为好瓜，剩下的都判断为坏瓜，这时
TP = 90，FP = 5， TN = 95，FN = 10
- 查准率是说在所有判断为好瓜的瓜中，有多大比例是真正的好瓜，也就是准确度如何，其公式如下：
pic2.png
在我们的例子当中，最后的查准率约为94.7%
- 查全率是说在所有为好瓜的样本中有多大比例的好瓜被挑了出来，其公式如下：
pic3.png
在我们的例子中，查全率为90%
这两对指标是矛盾的，往往查准率高时，查全率就会低（也就是更严格的挑选），查全率如果高的话，查准率就会低（更宽松的挑选），在实际使用场景当中，必须结合具体的情况来选择我们的模型评估指标，即有些情况对查准率较高，比如推荐商品时，有的对查全率要求较高，比如比对犯罪嫌疑人头像。
通常我们需要绘制一个以查全率为横坐标，以查准率为纵坐标的曲线图，称为“P-R曲线”图，通过这个图来直观的比较模型的优劣
pic4.png
以上图为例，B曲线完全包住了C曲线，所以B模型要优于C模型，而A和B的优劣就不好判断了，因为要根据具体的使用场合来选择，如果一定要说出综合的优劣的话，可以看哪个模型包住的面积大，或者看谁的平衡点更高。这里平衡点是查准率和查全率相等时的数值，这里A的平衡点大于B的平衡点，我们就说A比B更好。
3，ROC和AUC
ROC曲线是说以真正例率TPR为纵轴，假正例率FPR为横轴画出的曲线。AUC（Area Under ROC Curve）是ROC包住的面积
pic5.png
pic6.png
这种方法跟P-R曲线大同小异，这里不再详解
4，代价敏感错误率与代价曲线
之前我们说不同场景下，可能对查全率，查准率要求不同，有时我们需要更严格的筛选，有时需要更加宽松的筛选。而有时我们针对不同场景，对假正例和假反例两种错误的代价是不同的，例如在医疗诊断的时候，对于假正例，把健康的人诊断为病人和假反例，把病人诊断为健康人，其后果代价是不同的，前者代价较小，最多就是麻烦下再多做些检查，而后者可能会导致患者错过诊疗时机，甚至付出生命代价。所以可以为不同错误类型赋予不同的权重，这就是代价敏感错误率的由来。
网友评论