美文网首页
克服感知量化训练中的振荡

克服感知量化训练中的振荡

作者: Valar_Morghulis | 来源:发表于2023-02-07 09:40 被阅读0次

Overcoming Oscillations in Quantization-Aware Training

ICML2022 Oral

Markus Nagel, Marios Fournarakis, Yelysei Bondarenko, Tijmen Blankevoort

[Qualcomm AI Research]

https://arxiv.org/abs/2203.11086

https://github.com/qualcomm-ai-research/oscillations-qat

26 stars

当用模拟量化训练神经网络时,我们观察到量化权重可以在两个网格点之间振荡,这是相当意外的。这种效应的重要性及其对量化感知训练(QAT)的影响在文献中没有得到很好的理解或研究。在本文中,我们深入研究了权重振荡现象,并表明,由于推断过程中错误估计的批次归一化统计数据和训练过程中增加的噪声,它会导致显著的精度下降。这些效应在具有深度方向可分离层的有效网络的低比特(≤4比特)量化中尤其明显,如MobileNets和EfficientNets。在我们的分析中,我们研究了几个先前提出的QAT算法,并表明其中大多数算法无法克服振荡。最后,我们提出了两种新的QAT算法来克服训练过程中的振荡:振荡抑制和迭代权重冻结。我们证明,我们的算法在低比特(3和4比特)权重和有效架构(如MobileNetV2、MobileNetV3和ImageNet上的EfficentNet lite)的激活量化方面达到了最先进的精度。

相关文章

  • Tensorflow tflite量化模型

    记录一下tensorflow tflite模型训练后量化的操作。 训练后Float16量化 对于一般训练得到的模型...

  • DL01-2:感知器训练的数学基础

    摘要:1、感知器的数学本质;2、感知器的训练过程;3、感知器训练过程的数学计算公式;4、感知器训练的数学推导; 1...

  • 振荡,再振荡

    今天大盘受到60日和10日均线的压制,整天都在3126点至3143点之间反复振荡。中石油等混改概念股继续有...

  • MR成像组织信号特征2019-10-27

    当质子放在磁场中时,它们就会振荡。 它们的振荡频率取决于磁场强度。 质子如果以振荡频率暴露于电磁能,则能够吸收能量...

  • 可感知而不可量化

    疼、痛、痒、麻、酸、胀、冷。 喜、怒、忧、思、悲、恐、惊。

  • 振荡与单边

    市场由振荡与单边组成。 单边包含着振荡,振荡孕育着单边。 振荡久了一定会出现单边,单边久了也一定会迎来振荡。单边,...

  • 《香帅的北大金融学课》摘抄038|量化交易:诺奖得主也会掉进的坑

    量化交易就是依靠计算机程序实施投资策略的方法。 量化交易的作用就是利用计算机技术和金融理论的进步,帮助克服我们人性...

  • 振荡

    今天儿子请假回到家中,说心里不舒服,我没有往常的焦虑,竟然接受了,我想他需要一个调整过程吧,就把时间交给他,相信他...

  • 振荡

    书名:代码本色:用编程模拟自然系统作者:Daniel Shiffman译者:周晗彬ISBN:978-7-115-3...

  • 《蒙特梭利》感觉训练教具

    今天读的是用教具进行感知训练,感觉训练是最重要的训练。因为婴幼儿是感知非常敏感的阶段,在这个阶段,如果孩子用感觉(...

网友评论

      本文标题:克服感知量化训练中的振荡

      本文链接:https://www.haomeiwen.com/subject/iebxkdtx.html