深度理解反卷积操作

今天记录以下卷积和反卷积,在很久之前图像处理时候我们就学过卷积,也知道卷积操作方式,更知道怎么推导和反向传播~~但是今天我们要说得和之前理解的可能不太一样......

1.卷积

首先我们看以下卷积的含义:

原作者.gif

卷积基础这里不再进行说明~~有基础的秒懂

现在来点不一样的:

原作者

以下是知乎大神给的翻译版本,翻译的很好~

参数定义如下:

1. 4x4的输入，卷积Kernel为3x3, 没有Padding / Stride, 则输出为2x2。
2. 输入矩阵可展开为16维向量，记作x输出矩阵可展开为4维向量，记作y
3. 卷积运算可表示为y = Cx

那么权重可以定义如下:

权重定义

我们现在换一种定义,把权重W定义为稀疏矩阵:

权重特殊定义

假设Input输入为:

Input

对应稀疏权重把Input转化为:

input转化

有木有发现结果一样的?

结果

2.反卷积

其中上采样有很多种叫法,反卷积/上采样/转置矩阵......在这里我们不去讨论,接下来的推导你会发现叫什么合适~~

我们来想一个问题:

矩阵的正向传播是直接卷积,那么反向传播呢?

是不是得通过求偏导数求回去?

反向传播 image image

由以上的推导我们可以发现,其实我们所说的反卷积就是反向的推导回去,现在可以暂时这么理解哈~~

反卷积的直观解释:

直观解释 手写解释

3.反卷积扩展

以下是根据CS231的课程理解编写的

第一种上采样:

第一种扩展

第二种上采样:

第二种解释

第三种上采样:

第三种解释

第四种上采样:

1. 就是作者用的反卷积~~
2. 有木有发现上面三种都是固定的,不能够训练?最后一种是可以训练权重的,但是作者没有训练~~原因是训练的效果不好.

第四种解释

4.参考资料

CS231课程

动态图

知乎大神解释

博客园一个很好的解释

一篇外文详细的解释了反卷积