http://blog.csdn.net/heyongluoyao8/article/details/49429629
过拟合的原因往往是:
1训练数据不足,训练数据无法对整个数据的分布进行估计的时候
2训练过度 ,导致模型过拟合
1:数据集扩增
几种方法,采集更多的数据
复制原有的数据,加速噪声
重采样
生成已有模型的分布,产生更多数据。(比如假设数据服从高斯分布,那么就根据现有数据估计高斯分布的参数,然后产生更多的数据)
2:early-stopping
对模型进行训练的过程往往是一个对模型更新的过程,这个过程往往是一个迭代的过程。在这个迭代的过程中,如果当迭迭代一次次数,validation accuracy 不在变化时,那就就及时的停止模型的训练。
3:正则化
使用L1,L2,Elastic net 等正则化方法。
4:DropOut
神经网络中的方法
网友评论