激励函数
AF：activation function
激励函数推荐：
- CNN：relu
- RNN：relu or tanh
优化器
SGD
SGD将大块数据拆分输入神经网络，可以大大提高训练速度，且不会损失太大的准确率。
像喝醉走弯路
普通的优化方法像一个喝醉的人，来来回回走了很多弯路。
Momentum
Momentum方法是令其直接向下坡走。
AdaGrad
AdaGrad给人一个不好走的鞋子，使其摇晃着走路的时候觉得脚疼，鞋子变成了走弯路的阻力。
RMSProp
RMSProp结合上述两种，既给出下坡方向，又给鞋子阻力。
Adam
Adam是另一种结合方法。
过拟合应对方法
方法1：增加数据集
原本过拟合的情况会被慢慢拉直
方法2：运用正规化
为了不让W变化过大，增加L1、L2等。
L3、L4也就是三次方、四次方。让cost增加W的变化，使W不要变化太大。
在神经网络中，常用Dropout。
每次丢弃的神经元都不一样，让每一次的训练结果都不依赖于某一个特定对的神经元。
自编码学习
有时候，要训练的数据很大，比如一张高清图像，这时候如果全部输入网络，可能会处理超大量的数据。如果能进行压缩，保留重要的信息，然后用压缩后的数据送入神经网络，就可以轻松的进行训练了。
通常使用自编码的时候，只会使用到前半部分，也就是编码部分，也叫做encode。
图片截取自《莫烦 Tensorflow教程》
网友评论