Overcoming Oscillations in Quantization-Aware Training
ICML2022 Oral
Markus Nagel, Marios Fournarakis, Yelysei Bondarenko, Tijmen Blankevoort
[Qualcomm AI Research]
https://arxiv.org/abs/2203.11086
https://github.com/qualcomm-ai-research/oscillations-qat
26 stars
当用模拟量化训练神经网络时,我们观察到量化权重可以在两个网格点之间振荡,这是相当意外的。这种效应的重要性及其对量化感知训练(QAT)的影响在文献中没有得到很好的理解或研究。在本文中,我们深入研究了权重振荡现象,并表明,由于推断过程中错误估计的批次归一化统计数据和训练过程中增加的噪声,它会导致显著的精度下降。这些效应在具有深度方向可分离层的有效网络的低比特(≤4比特)量化中尤其明显,如MobileNets和EfficientNets。在我们的分析中,我们研究了几个先前提出的QAT算法,并表明其中大多数算法无法克服振荡。最后,我们提出了两种新的QAT算法来克服训练过程中的振荡:振荡抑制和迭代权重冻结。我们证明,我们的算法在低比特(3和4比特)权重和有效架构(如MobileNetV2、MobileNetV3和ImageNet上的EfficentNet lite)的激活量化方面达到了最先进的精度。

网友评论