lstm 调节超参数的注意事项

以下是手动优化RNN超参数时需要注意的一些事：

• 小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。
• 正则化有好处：正则化的方法包括l1、l2和丢弃法等。
• 保留一个神经网络不作定型的单独测试集。
• 网络越大，功能越强，但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数参数 > 样例数 = 问题。
• 数据基本上总是越多越好，因为有助于防止过拟合。
• 定型应当包括多个epoch（使用整个数据集定型一次）。
• 每个epoch之后，评估测试集表现，判断何时停止（提前停止）。
• 学习速率是最为重要的超参数。
• 总体而言，堆叠层是有好处的。
• 对于LSTM，可使用softsign（而非softmax）激活函数替代tanh（更快且更不容易出现饱和（约0梯度））。
• 更新器：RMSProp、AdaGrad或momentum（Nesterovs）通常都是较好的选择。AdaGrad还能衰减学习速率，有时会有帮助。
• 最后，记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化

(https://deeplearning4j.org/cn/lstm)