深度模型压缩：BN和Conv/Fc参数合并

作者: 昭君姐 | 来源:发表于2019-06-04 10:41 被阅读0次

深度模型压缩：BN和Conv/Fc参数合并
关于conv层是否加bias
torchvision 0.3 自带 resnet50 结构
常用的深度学习模型压缩和加速方法
深度神经网络模型压缩和加速方法2019-10-15
yolov4
Convolution
Caffe的BN参数转移到PyTorch上
工程Trick | 合并BN层加速前向推理
理解CNN中的channels

BN一般在Conv之后，结构如下：
Conv/Fc => BN => ReLU => Pool

我们可以把Conv和Fc都按照下述公式进行计算：
$\begin{equation} F=Wx+b \end{equation}$
BN公式如下：
$\begin{equation} BN = \frac{F-mean}{std} \\ BN_{scale} = \gamma BN + \beta \end{equation}$

根据上述公式合并可得到：
$\begin{equation} BN_{scale} = W_{new}x+b_{new} \\ W_{new} = \frac{\gamma W}{std} \\ b_{new} = \beta - \frac{\gamma mean}{std} \end{equation}$

深度模型压缩：BN和Conv/Fc参数合并
BN一般在Conv之后，结构如下：Conv/Fc => BN => ReLU => Pool 我们可以把Conv和...
关于conv层是否加bias
如果有bn层，且bn层有放射变换参数，则conv层可以不加bias，最后一层没加bn，所以要加bias
torchvision 0.3 自带 resnet50 结构
定义模型打印 params，只给出了 conv，省去了 bn, relu 无论是否采用 pretrained, ...
常用的深度学习模型压缩和加速方法
现有的深度模型压缩方法，主要分为四类：参数修剪和共享（parameter pruning and sharing...
深度神经网络模型压缩和加速方法2019-10-15
综合现有的深度模型压缩方法，它们主要分为四类：参数修剪和共享（parameter pruning and sha...
yolov4
CBM：Yolov4网络结构中的最小组件，由Conv+Bn+Mish激活函数三者组成。CBL：由Conv+Bn+L...
Convolution
https://nicehuster.github.io/2018/08/31/python_bn_conv/ 对...
Caffe的BN参数转移到PyTorch上
Caffe的模型参数转移到Pytorch上，最需要注意的是Caffe中的BN层+Scale层与Pytorch中BN...
工程Trick | 合并BN层加速前向推理
1.BatchNorm 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并...
理解CNN中的channels
定义一般来讲，在深度学习框架的Conv1d或Conv2d中，channels是一个必填的参数。TensorFlo...