一、经验误差与过拟合

错误率：分类错误的样本数占样本总数的比例数“错误率”——>m个样本中a个错误样本，则错误率E= a/m，而在机器学习中世纪预测输出与样本的真是输出和之间的差异称为“误差”。在训练集上的误差称为“训练误差”，在训练集产生的误差称为“训练误差”，新样本产生的误差称为“泛化误差”。。

精度=1-错误率。
一个好的学习器一般情况下分类精度是达不到100%的，如何达到则需要检查一下学习器，很有可能是出现了错误。

1）过拟合与欠拟合：

过拟合指的是学习器把训练样本学得过好，导致在新样本中检验的时候，会导致泛化能力下降，即只是“有样学样”并没有举一反三，而欠拟合与过拟合相反，指的是对训练样本的通用性质尚未学号，图2.1给出直观类比

欠拟合比过拟合好处理，欠拟合可以通过决策树学习中扩张分支等操作克服，而过拟合？很麻烦，需要各种算法去针对解决。

2)评估方法：

留出法：
将数据集划分为两个互斥的集合，一个集合作为训练集，一个作为测试集。ps:训练/测试集的话费要尽可能保持数据分布的一致性，避免数据划分过程引入额外的偏差二队最终结果影响。
留出法可能出现的问题：训练/测试集分布会影响评估结果，训练集太少会降低保真性，训练集过多会降低评估结果的准确性，所以一般训练/测试集会大约分为2/3~4/5。

交叉验证法（k折交叉验证）：
将数据集D划分为k个大小相似的互斥子集（每个子集都尽可能保持数据分布一致性，从D分层采样），每次用k-1个自己的并集作为训练集，余下的子集作为测试集，进行k次训练和测试后，返回结果的均值。图2.2为10折交叉验证的示意图

交叉验证出现的问题：训练集较大时，训练k个模型的计算开销过多，如100万次，这需要训练100万个模型。

自助法：
以自助采样为基础。m个样本的数据集D，采样产生数据集D’，每次随机D中挑选一个样本，放入D’，然后再将样本放回到D中。这个过程执行m次后，就得到包含m个样本的D’。D中的样本在m次采样四中不被采到的概率为（1-1/m）^m，取极限得到：

即初始数据D中约有36.8%的样本未出现在D’中。
自助法出现的问题：在数据集较小且难以有效划分训练/测试集时很有用，对集成学习等方法有很大的好处，但是自助法会改变初始数据集的分布，会引入估计偏差。

调参与最终模型：
学习算法的参数设定，参数配置不同，学得模型的性能往往有显著的差别，因此，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”。

3)性能度量：

对学习器的泛化性能进行评估，不仅需要有效可行的实验评估方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量。
2.4为错误率定义，2.5为精度定义。

查准率、查全率与F1：
查准率P：在西瓜模型中的衡量为“挑出的西瓜中有多少比例是好瓜”<br/>
查全率R：而查全率则为“所有好瓜中有多少比例被挑了出来”

下图2.1为二分类问题中的分类器预测结果：

而图2.3的P-R曲线为在一个二分类的问题中的查准率-查全率，以查准率为纵轴、查全率为横轴作图.P-R图直观显示了学习器在样本总体上的查准率和查全率，如一个学习器的

平衡点BEP，判断双高的比例，当查全率=查准率时取得值，由这个点可以比较各个学习器的好和坏。BEP还是过于简陋，所以我们使用F1度量

F1度量能使我们能看出查全率和查准率的偏重，因为在不同情况下对查全率和查准率的重视程度是有所不同的，如在推荐系统中更着中的是查准率。

对混肴矩阵的话，现在混肴矩阵上分别计算出各个矩阵俄查准率和查全率，然后在计算平均值，这样就能的到“宏查准率”等，如下图的定义

然后平均后得微查准率·微查全率·微F1：

ROC与AUC：<br / >
Roc全称“受试者工作特征"

Auc通过对ROC曲线下各部分得面积求和所得：

、

4）比较与检验

统计假设检验：
比较泛化错误率，判断置信区间。

交叉验证t检验：<br />
两个不同的学习器A和B，可以利用k折交叉验证的方法，得到两个学习器测试的错误率。其中第i次下相同的测试次数用“成对t检验”来进行检验，如果两个学习器性能相同，则测试错误率也应相同。要进行有效的假设检验，一个重要的前提是测试错误率均为泛化错误率的独立采样。然而，通常情况下由于样本有限，在使用交叉检验等实验估计方法时，不同轮次的训练集会有一定的重叠，这就使得测试错误率实际上并不独立，会导致过高估计假设成立的概率。为缓解这一问题，可采用“5×2交叉检验”。 5x2交叉验证，即为做5次2折交叉验证，交叉验证具体方法前面已有解释。

McNemar检验：
对二分法的内容，交叉验证就不合适了，因为二分法的两个结果是相反的，McNemar 卡方分布

Friedman检验与Nemenyi后续检验：
当有一组数据有多个算法进行比较时候，使用基于算法排序的FriedMan检验，通过2.34和2.35算法进行计算后，在表2.6中判断其临界点进行区分。