过拟合与欠拟合

过拟合、欠拟合简介

• 过拟合：是指模型对训练数据拟合过当的情况，即模型在训练集上表现很好，但在测试集上表现较差；
• 欠拟合：是指模型在训练和预测时表现都不好的情况；

回归问题 - 过拟合与欠拟合.png

降低“过拟合”风险的方法

（1）从数据入手，获得更多的训练数据： 使用更多的训练数据是解决过拟合问题最有效的有段，因为更多的样本能够让模型学习到更多有效的特征，减小噪声的影响。
（2）降低模型复杂度： 在数据较少时，模型过于复杂是产生过拟合的主要因素，适当降低模型复杂度可以避免模型拟合过多的采样噪声。例如：在神经网络中减少网络层数、神经元个数等；在决策树模型中降低树的深度、剪枝等；
（3）正则化方法： 给模型参数加上一定的正则约束；

L1和L2正则化.png
（4）集成学习方法： 集成学习是把多个模型集成在一起，来降低单一模型过拟合的风险。
（5）Dropout方法： 简单来说，就是在前向传播的时候，让某个神经元的激活值以一定的概率置为0；
Dropout方法.png Dropout具体实现.png
（6）Early Stopping方法： 即在模型迭代过程中提前停止迭代的一种方法；在每一次epoch结束之后，验证模型在验证集的效果，如果模型在验证集的效果变差则提前停止迭代；或者设置参数patience=10，即当前的效果比前10次效果都差的话停止迭代。
Early Stropping.png

降低“欠拟合”风险的方法

（1）添加新特征： 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。在深度学习潮流中，有很多模型可以帮助完成特征工程，例如：因子分解机、梯度提升决策树、Deep Crossing等都可以成为丰富特征的方法。
（2）增加模型复杂度： 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元个数等。
（3）减小正则化系数： 正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对地减小正则化系数。

参考资料

• 《百面机器学习》- 诸葛越
• 【机器学习算法基础】17.过拟合,正则化
  https://www.youtube.com/watch?v=88kU_HAmJUU
• Dropout论文：Dropout: A Simple Way to Prevent Neural Networks from Overfitting
  https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
• 深度学习中Dropout原理解析
  https://zhuanlan.zhihu.com/p/38200980
• 欠拟合、过拟合及如何防止过拟合
  https://zhuanlan.zhihu.com/p/72038532
• [Deep Learning] Early Stopping with Tensorflow
  https://www.youtube.com/watch?v=uBkB7iH19Ok