LSTM神经网络调参需知

调整超参数

• 调整参数时，应先确定其他的超参数，调整一个超参数值。不要一起调节，一起调节很难掌握数据的特性。

1. 由于batch(即LSTM输入数据(x,y,z)中的y)对训练结构有较大的影响，故先调节batch(确定hidden)，先以10为间距，从0-300调整batch，选择accuracy较大且在训练过程中loss未发生巨大变化的。
2. 调整hidden，先以50为间距，查看模型训练的趋势，后减小间距，调整hidden。
3. 学习率learning_rate基本为10^-2 或10^-4 ，我选择的是10^-2。

数据

输入数据应打乱，不要按照一定规律将数据输入lstm

其他

hidden_size并不是越大，模型训练越好，同理：learning_rate不是越小越好，要根据你的数据相应调整。