减少所需显存。减少了IO.
- 深度学习训练使用16bit表示/运算正逐渐成为主流。
- 低精度带来了性能、功耗优势，但需要解决量化误差（溢出、舍入）。
- 常见的避免量化误差的方法：为权重保持高精度（fp32)备份；损失放大，避免梯度的下溢出；一些特殊层（如BatchNorm）仍使用fp32运算。
“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。在反向计算开始前，将dloss乘上一个scale，人为变大；权重更新前，除去scale，恢复正常值。目的是为了减小激活gradient下溢出的风险。
动态loss_scale：
基本思想是先选择一个较大的loss_scale初始值，如果梯度发生溢出（grads中有Inf或NaN）则跳过本次更新，并将loss_scale减小；如果没有发生溢出，则正常进行梯度更新，若连续N次迭代中梯度没有Inf或NaN，将loss_scale值增大。
混合精度训练过程如下：
-
使用FP16的输入；
-
前向计算：该场景中使用统一的FP32格式的初始化权重，训练时恢复checkpoint中的变量进行训练；将恢复的FP32参数转化为FP16供给前向运算；
-
Loss计算：该场景中loss计算复杂，涉及到许多exp, log等可能会发生FP16溢出的不稳定操作，因此loss计算在FP32精度下进行；
-
loss scale：将计算出来的loss乘以一个比例因子 scaled_loss = loss * loss_scale；
-
反向计算：grads = tf.gradients(scaled_loss , params,aggregation_method=aggmeth)
-
梯度计算完成后再将各梯度缩小相应的倍数：unscaled_grads = [(grad * (1. / loss_scale)) for grad in grads]；
-
梯度规约：累加很多FP16数值容易造成数据溢出，选择在FP32下规约；
-
参数更新：根据梯度是否溢出选择是否进行参数更新并动态调整 loss_scale，若更新，直接在FP32精度的参数上进行参数更新。由于该场景中就是使用PF32的参数，更新时直接应用于该参数即可。
网友评论