交叉验证问题

什么是交叉验证

    交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。

    「交叉验证」是一种模型验证技术，可用于评估统计分析（模型）结果在其它独立数据集上的泛化能力。它主要用于预测，我们可以用它来评估预测模型在实践中的准确度。

    交叉验证的目标是定义一个数据集，以便于在训练阶段（例如，验证数据集）中测试模型，从而限制模型过拟合、欠拟合等问题，并且帮助我们了解模型在其它独立数据集上的泛化能力。值得一提的是，验证集和训练集必须满足独立同分布条件，否则交叉验证只会让结果变得更加糟糕。

什么时候才需要交叉验证呢？

    交叉验证用在数据不是很充足的时候。比如在我日常项目里面，对于普通适中问题，如果数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集，最终决定使用哪个模型以及对应参数。

为什么交叉验证会有这些助益？

1.验证有助于我们评估模型的质量
2.验证有助于我们挑选出那些能够在预测数据集上取得最好性能的模型
3.验证有助于我们避免过拟合与欠拟合

交叉验证的种类

第一种.简单交叉验证/Holdout 验证/Hold-out Cross Validation

    所谓的简单，是和其他交叉验证方法相对而言的。首先，我们随机的将样本数据分为两部分（比如： 70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。一般来说，简单交叉验证并非一种交叉验证，因为数据并没有交叉使用。随机从最初的样本中选出部分，形成交叉测试数据，而剩余的就当作训练数据。 一般来说，少于原本样本三分之一的数据被选做测试数据。

image.png

优点：好处的处理简单，只需随机把原始数据分为两组即可！
缺点：严格意义来说简单交叉验证并不能算是Cross Validation,因为这种方法没有达到交叉的思想，由于是随机地将原始数据分组，所以最后测试集分类准确率的高低与原始数据的分组有很大的关系，所以这种方法得到的结果其实并不具有说服性！

第二种.K折交叉验证（K-Folder Cross Validation）

    和第一种方法不同，K折交叉验证会把样本数据随机的分成K份，每次随机的选择K-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择K-1份来训练数据。若干轮（小于K）之后，选择损失函数评估最优的模型和参数。
当我们的数据量较小时，或者在不同的划分数据集中，我们的模型性能或者最优参数存在较大的区别时，K分交叉验证是一种很好的选择。通常情况下，我们设置 K=5 或 K=10，这些值来自于经验总结，大量实验证明当K取这些值时，验证结果不会存在过高的偏差或者方差。

image.png

优点：K-Cross Validation可以有效地避免过学习以及欠学习状态的发生，最后得到的结果也比较具有说服性.

第三种.留一交叉验证（Leave-one-out Cross Validation）

    它是第二种情况的特例，此时K等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。如果我们的数据量非常小并且模型的训练速度非常快，那么可以考虑该方法。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。在某些情况下是存在有效率的演算法，如使用Kernel Regression和Tikhonov Regularization。

image.png

第四种.分层法（Stratification）

    通常，在使用训练集/测试集划分或者是 k 分交叉验证的时候，我们会将数据集进行随机重排，以便于得到随机的训练/验证集划分。在这种情况下，可以将不同的目标分布应用于不同的划分区域中。通过分层法，当我们在分割数据时，我们可以在不同的划分区域中获得相似的目标分布。
    数据集有20个样本，分别属于三类，三个类比在总体的占比依次为4：3：3，现在需要对数据集进行划分，得到10个目标样本作为训练集或验证集，对此可以根据所占比例依次取4，3，3个样本组成训练集或测试集。这种对数据集进行分层提取数据的放法，对于小数据集、不平衡数据集、多分类问题是有很好的效果的，因为它充分考虑了数据内部的分布情况，使得我们所得到的子集（训练集和测试集）继承了数据集的分布特性。

image.png

    如果我们有充足的数据，并且对于不同的划分方式，我们都能获得相近的成绩以及最优参数模型，那么训练集/测试集二分划分是一种不错的选择。而如果恰恰相反，也就是对于不同的划分方式，模型的测试成绩和最优参数都存在着较大的差异时，我们可以选择 k 分交叉验证。如果数据总量非常少，则可以考虑使用留一法。此外，分层法有助于使验证结果更加稳定，并且对于小型且类别不平衡的数据集尤其管用。

    该方法对以下情况有效：
    • 小数据集
    • 数据不平衡
    • 多分类问题
    通常而言，对于一个类别平衡的大型数据集，分层划分法和简单的随机划分基本一样。

K折交叉验证中K的取值

    当 K 的取值越大时，由偏差导致的误差将减少，而由方差导致的误差将增加，此外计算的代价也将上升。显然，你需要更多的时间来计算，并且也会消耗更多的内存。
    当 K 的取值越小时，由方差导致的误差将减少，而由偏差导致的误差将增加。此外，这时所需的计算资源也将减少。
    针对大型数据集的时候，我们通常将K设置为3或者5，但是对于小型数据集我们还是建议采用留一法。

---

收集于：
https://www.jianshu.com/p/619c445eda73
https://blog.csdn.net/weixin_43561290/article/details/90106565
https://www.cnblogs.com/pinard/p/5992719.html
https://baijiahao.baidu.com/s?id=1643127951283009221&wfr=spider&for=pc