BAT面试官最喜欢问的问题之一：怎么解决过拟合和欠拟合情况

2018-10-15 22:50

<article class="article" id="mp-editor" style="display: block; border: 0px; margin: 0px; padding: 5px 0px 0px; font-size: 16px; color: rgb(25, 25, 25); line-height: 1.9; overflow: hidden auto; box-sizing: border-box; outline: 0px; tab-size: 4; text-align: left; overflow-wrap: break-word; width: 640px; font-family: "PingFang SC", Arial, 微软雅黑, 宋体, simsun, sans-serif; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-style: initial; text-decoration-color: initial;">

image

在模型评估与优化过程中，我们经常会遇到过拟合和欠拟合的情况，那么到底什么是过拟合和欠拟合。

过拟合是指模型对于训练集数据呈现过当的情况，从评估指标上看就是模型在训练集上表现的很好，但是在测试集合新的数据上就表现得很差。

欠拟合是指在训练集上和测试集上表现得都不好的情况。

image

左图就是欠拟合的情况，虚线没有很好的区分数据类别，不能够很好的拟合数据，右图的模型过于复杂，把噪声数据的特征也学习到模型中，导致模型泛化能力下降，在后期应用过程中很容易输出错误的预测结果。

想要降低过拟合的风险，该怎么办？

1 从数据入手，获得更多的训练数据。使用更多的训练数据是解决过拟合问题最有效的方法，更多的数据能让模型学习到更多有效的特征，减少噪声的影响。在实际的工作中，直接增加训练数据有一定困难，但是可以通过一定的规则来扩充。比如，在图像分类问题上，通过图像的平移、旋转、缩放等方式扩充数据，更复杂的方法，还可以使用生成对抗网络来合成大量的新的训练数据。

2 降低模型的复杂度。在数据较少的时候，模型过于复杂是产生过拟合的主要原因，适当的降低模型复杂度可以避免模型拟合过多的噪声数据。例如，在决策树模型中，适当的剪枝或者降低树的深度；在神经网络模型中减少网络层数、神经元个数等。

3 正则化方法。给模型的参数加上一定的正则约束，比如将权值的大小加入到损失函数中。

4 集成学习方法。集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险，比如Bagging方法。

想要降低欠拟合的方向，该怎么办？

1 扩展新的特征。当特征不足或者现有的特征数据跟样本标签的相关性不强时，很容易处罚欠拟合现象。通过挖掘上下文特征，组合特征等行的特征，一般都会得到不错的效果。在深度学习潮流中，有很多模型可以帮助完成特征工程，比如因子分解机、梯度提升决策树、Deep-crossing等都可以成为扩展特征的方法。

2 增加模型的负责度。简单模型的学习能力较差，通过增加模型的负责度可以使模型拥有更强的拟合能力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或者神经元个数等。

3 减小正则化系数。正则化是用来防止过拟合的，当模型出现欠拟合的时候，需要根据实际情况减小正则化系数。

</article>