Training NN-7-Model Ensembles &a

关键词：Model Ensembles（模型集成）、Dropout

Summary

Model Ensembles（模型集成）

训练多个独立的模型，然后在测试时取他们结果的平均值，表现会比一般情况好一些

Model Ensembles Multiple snapshots Polyak averaging

Regularization

下图中前面几个是相对比较常用的

Regularization

Add term to Loss

Dropout

理解：可以将Dropout看做是大型的Model Ensembles,每一个binary Mask都可看做一个模型.

为什么要做Dropout呢？

防止过拟合，因为使用Dropout后，会随机是一些神经元的输出为0，那么模型相对而言就变小了，变量减少，表达能力减弱，可以防止过拟合

Dropout

在线性单元的情况下，使用Dropout，在训练时，期望值会变为原来的1/2。那么训练的期望值和测试集输出的期望值就不同了，所以需要调整，要不训练的期望值增大 （除以P），或者测试的期望值减小（Predict * P）

Drop-Test Dropout - scale Inverted Dropout

Batch Normalization 

Batch Normalization

Data Augmentation 数据增强

在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型（防止模型过拟合），一般都会对数据图像进行数据增强。

所以使用数据增强的目的：1，增加数据集的大小   2，一定程度上避免过拟合

在图像识别分类上，一般使用的方法如下图，拉伸、旋转等。对于语音，文字来说，可以有错别字，可以有鬼画符，可以有说错的音，外界的噪声，这些都可以加到原先的有限数据集中。

Data Argument Random crops and scales Color Jitter