机器学习与深度学习（十一）：过拟合解决方案

正则化项在神经网络中的应用

一般来说，正则化项的值越小，越容易出现过拟合现象。W越大，正则化项的泛化能力越强。

神经元越多，效果会越强，就能够表达复杂的模型，但过拟合的风险越大。
神经元就是权重参数W。

数据预处理

一般，对于图像来说，都会把0-255的颜色数据压缩到0——1区间之内。

权重初始化

神经网络迭代需要有一个初始的权重参数W，但是不能用0值（因为0乘啥都成0了...）
一般会做一个高斯初始化或随机初始化

还有一个被人遗忘的b……现在的论文都用0做初始化。
关于b偏置项的作用：
http://blog.csdn.net/xwd18280820053/article/details/70681750

DROP-OUT

全连接操作太多时，很容易过拟合，所以在每次BP算法中可以让一些W不参与运算。