[ML] 过拟合

“过拟合”问题，即当参数数目过于庞大而相应的训练数据短缺时，模型在训练集上损失值很小，但在测试集上损失较大，泛化能力很差。 

解决“过拟合”的方法有很多，包括数据增强(data augmentation)、参数范数惩罚/正则化(regularization)、模型集成(model ensemble)等；其中dropout是模型集成方法中最高效与常用的技巧。同时，深度神经网络的训练中涉及诸多手调参数，如学习率、权重衰减系数、Dropout比例等，这些参数的选择会显著影响模型最终的训练结果。批量归一化方法有效规避了这些复杂参数对网络训练产生的影响，在加速训练收敛的同时也提升了网络的泛化能力。