美文网首页深度学习
34.网络结构与模型压缩、加速-1

34.网络结构与模型压缩、加速-1

作者: 大勇任卷舒 | 来源:发表于2023-01-30 17:02 被阅读0次

34.1 Group convolution

  • Group convolution最早出现在AlexNet中，是为了解决单卡显存不够，将网络部署到多卡上进行训练而提出。Group convolution可以减少单个卷积1/g的参数量。如何计算的呢？
  • 假设
    • 输入特征的的维度为H*W*C_1;
    • 卷积核的维度为H_1*W_1*C_1，共C_2个；
    • 输出特征的维度为H_1*W_1*C_2 。
    • 传统卷积计算方式如下：
  • 传统卷积运算量为：
    A = H*W * h1 * w1 * c1 * c2
  • Group convolution是将输入特征的维度c1分成g份，每个group对应的channel数为c1/g，特征维度H * W * c1/g；，每个group对应的卷积核的维度也相应发生改变为h1 * w1 * c1/9，共c2/g个；每个group相互独立运算，最后将结果叠加在一起。

  • Group convolution计算方式如下：


  • Group convolution运算量为：
    B = H * W * h1 * w1 * c1/g * c2/g * g
  • Group卷积相对于传统卷积的运算量：
    \dfrac{B}{A} = \dfrac{ H * W * h1 * w1 * c1/g * c2/g * g}{H * W * h1 * w1 * c1 * c2} = \dfrac{1}{g}
  • 由此可知：group卷积相对于传统卷积减少了1/g的参数量。

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

相关文章

网友评论

    本文标题：34.网络结构与模型压缩、加速-1

    本文链接：https://www.haomeiwen.com/subject/aogmhdtx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    深度学习

    关于我们|服务条款|联系我们|34.网络结构与模型压缩、加速-1|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！