卷积

作者: 馒头and花卷 | 来源:发表于2020-04-22 22:24 被阅读0次

反卷积（转）
一维卷积与多维卷积概念介绍（一）
Convolution Network及其变种（反卷积、扩展卷积
深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）
卷积神经网络CNN原理展示和Tensorflow相关函数介绍
CNN
MachineLearning
CS231n 卷积神经网络: 架构, 卷积/池化层(上)
反卷积层
空洞卷积

整理一下, 关于卷积层梯度反向传递的过程.

注: $s\not=1$ 的部分是自己推得, 可能是错的(自己想了很久, 感觉错的机会不大).

符号

在这里插入图片描述

输入: $x \in \mathbb{R}^{N \times C \times H \times W}$ ;
权重: $w \in \mathbb{R}^{F \times C \times HH \times WW}$ ;
biases: $b$ ;
输出: $y \in \mathbb{R}^{N \times F \times H' \times W'}$

且
$H' = 1+ (H+2 p-HH)/s \\ W' = 1+ (W+2p-WW)/s,$
其中 $p$ 表示补零(pad), $s$ 表示滑动距离(stride).

$y=x*w,$
其中 $*$ 表示卷积.

2-D, s=1

不考虑 $C$ , 可以将补零后的视作 $x$ .

在这里插入图片描述

$\mathrm{d}b$

在这里插入图片描述

$\mathrm{d}w$

$\mathrm{d}w=x*\mathrm{d}y$

在这里插入图片描述

$\mathrm{d}x$

$\mathrm{d}x=\mathrm{d}\hat{y} * w^r.$

在这里插入图片描述

$\mathrm{d}x_{mn}$ 可以表示为俩个矩阵对应元素相乘再对各元素求和.

在这里插入图片描述

在这里插入图片描述
是以为中心完全补零(上下各补, 左右各补), 是左右翻转, 上下翻转后的结果.

举个例子

在这里插入图片描述

2-D $s\not =1$

在这里插入图片描述

$\mathrm{d}b$

一样的

$\mathrm{d}w$

$\mathrm{d} w = x * \mathrm{d}\hat{y},$
其中 $\hat{y}$ 是在 $y$ 的基础上, 在行列间添加 $s-1$ 个0.

在这里插入图片描述

$\mathrm{d} x$

$\mathrm{d}x = \mathrm{d}\hat{y} * w^r,$
其中 $w^r$ 和上面一样都是左右翻转加上上下翻转, $\mathrm{d}\hat{y}$ 先在 $\mathrm{d}y$ 的基础上各行各列插入 $s-1$ 零, 并在左右各补 $WW-1$ 零, 上下各补 $HH-1$ 零.

在这里插入图片描述

depth

加上了 $C$ ，则
$y_f=\sum_c y_{fc},$
其中
$y_{fc} = x_c*w_{fc}+b_{fc},$
则
$\frac{\partial L}{\partial y_fc} = \frac{\partial L}{\partial y_{f}},$
剩下的就是和之前的类似的操作了.

反卷积（转）
转卷积神经网络CNN（1）——图像卷积与反卷积（后卷积，转置卷积） 1. 图像卷积卷积的时候需要对卷积核进行1...
一维卷积与多维卷积概念介绍（一）
卷积的内涵以及卷积定理，多维卷积的过程待补充 1、一维卷积卷积分为连续卷积和离散卷积，这里以离散卷积进行举例从...
Convolution Network及其变种（反卷积、扩展卷积
Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）
深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）
对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解 [深度学习]转置卷积(Transposed Con...
卷积神经网络CNN原理展示和Tensorflow相关函数介绍
卷积神经网络 1 CNN卷积层卷积操作卷积核Kernal与Input矩阵执行卷积操作，每次卷积的值组成了一个新...
CNN
卷积层（Convolutional layer），卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都...
MachineLearning
一、卷积&池化卷积卷积能抽取特征多层卷积能抽取复杂特征卷积神经网络每层的卷积核权重是由数据驱动学习得来，不...
CS231n 卷积神经网络: 架构, 卷积/池化层(上)
卷积神经网络: 架构, 卷积/池化层(上) 卷积神经网络: 架构, 卷积/池化层(上) 卷积神经网络(CNNs/C...
反卷积层
反卷积层和卷积层非常相似，首先需要明确反卷积层的参数是需要学习的，不是直接用反卷积层所对应的卷积层的权重，反卷积又...
空洞卷积
理解空洞卷积标准卷积可以看做 r = 1 的空洞卷积，是空洞卷积的特殊形式。标准卷积：以3*3为例，以下分辨率...