超参数
1 学习率 初始值0.1, 如何调整学习率，准确率不再下降，就减小学习率。准确率下降太慢，就增大学习率
2 mini-batch 大小， minibatch的size太大就收敛快，计算机内存不足，但是容易陷入局部优化;太小，就是收敛慢，但是不容易陷入局部优化。合适的值是32-256
3 训练迭代epoch的次数 是一直训练下去 还是适当停止
SessionRunHook最近版本的 TensorFlow 废弃了 Monitor 函数，而采用 SessionRunHooks 。SessionRunHook 是 tf.train 不断发展的一部分，往后似乎将是实施早期停止的一个适当位置。
到本文写作之时，tf.train 的训练钩子函数 中已存在两个预定义的停止 Monitor 函数。
StopAtStepHook：用于在特定步数之后要求停止训练的 Monitor 函数
NanTensorHook：监控损失并在遇到 NaN 损失时停止训练的 Monitor 函数
4 隐藏层数量，第一个隐藏层，应该大于输入单元数量1,即input单元数量+1
5 隐藏层的层数，三层为佳 ，不过卷积神经网络不一样，层数越多越好
网友评论