学习率设定
learning rate(lr)是神经网络炼丹最重要的参数，没有之一
没有特定规律，理论上来说，通常学习率过小->收敛过慢，学习率过大->错过局部最优
实际上来说，可能：学习率过小->不收敛，学习率过大->不收敛
为什么会这样，还没有通用理论去解释。
设定学习率的一些常用trick:
首先寻找ok(合理范畴-计算负担-内达到好的结果)的学习率，然后调整其它参数, 其它参数调的差不多了，再去精调学习率。
1、lr与其它参数有相互作用，但不多。在计算负担的起的情况下，选合适的学习率：比如选了好学习率，但要跑100 epoch才能收敛，花了一天,没时间调其它参数了，这种情况下我可能宁可舍弃一些精度，选一个ok的学习率，比如10个 epoch收敛。
2、lr与样本数量关系很大
比如样本比较大，或重复比较多，都会影响学习率。如果样本数量不变的话，一般原来ok的lr，之后还ok。
而提升算法效果比较有效的一个策略是数据扩充，不幸的是数据扩充会影响lr, 需要注意。
3、不同层采用不同的学习率
（1）一部分已经训练好，然后在它上层再搭一层模型
如果底层模型训练好了，然后训练上层模型，这时如果采用一样的学习率，会出现问题。
因为底层模型训练好了，我可能只要稍微微调下就训练好了。
底层模型训练好，上层模型随机初始化，lr不能太小
上下层不一样的话，lr太大太小都不行
trick:
先固定下层，只训练上层，训练差不多ok时，再一块训练
这里ok的意思：一般上层直接train到局部最优就完事了，不要只保留局部最优，因为局部最优可能很难出来。在此之前保留一些checkpoint，可以在这基础上优化。只训练上层不能在验证集上达到最优，但同时要避免因只训练上层陷入局部最优。
（2）上层比底层学习率大一些
大多少，没有固定说法。比如指数层级去处理，lr指数缩减
一层层训练，从顶向下一层层训练，理论上有效，实际上算力问题
4、在最终阶段降低学习率，后者babysit
最后比较稳定，降低lr更容易找到局部最优，可以增加batchsize, 这样更稳定
babysit:看整个训练过程，当在验证集上精度不再提升时，降低lr，再跑。细调。
5、 warm-up
从头训练时用..待加
6、常见学习率
finetune: 1e-5, 2e-5, 5e-5
从头训练：一般可以从0.01开始试，如果出现问题就调整。
如果收敛太快，很快在训练集上过拟合了，我就降低lr
如果训练过慢或不收敛，我就增加一点lr
网友评论