美文网首页深度学习
36.网络结构与模型压缩、加速-3

36.网络结构与模型压缩、加速-3

作者: 大勇任卷舒 | 来源:发表于2023-02-15 09:22 被阅读0次

36.1 输入输出的channel相同时,MAC最小

卷积层的输入和输出特征通道数相等时MAC最小,此时模型速度最快。

  • 假设feature map的大小为h*w,输入通道c_1,输出通道c_2
    • 已知:


  • 根据均值不等式得到(c1-c2)^2>=0,等式成立的条件是c1=c2,也就是输入特征通道数和输出特征通道数相等时,在给定FLOPs前提下,MAC达到取值的下界。

36.2 减少组卷积的数量

过多的group操作会增大MAC,从而使模型速度变慢

  • 由以上公式可知,group卷积想比与传统的卷积可以降低计算量,提高模型的效率
    • 如果在相同的FLOPs时,group卷积为了满足FLOPs会是使用更多channels,可以提高模型的精度
    • 但是随着channel数量的增加,也会增加MAC。
  • FLOPs:


  • MAC:


  • 由MAC,FLOPs可知:


  • 当FLOPs固定(B不变)时,g越大,MAC越大

大数据视频推荐:
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通

相关文章

网友评论

    本文标题:36.网络结构与模型压缩、加速-3

    本文链接:https://www.haomeiwen.com/subject/xrkekdtx.html