深度学习中的逆卷积

作者: 初七123 | 来源:发表于2017-05-09 12:07 被阅读312次

知乎@张萌

逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。
逆卷积(Deconvolution)比较容易引起误会,转置卷积(Transposed Convolution)是一个更为合适的叫法。

举个栗子:
4x4的输入,卷积Kernel为3x3, 没有Padding / Stride, 则输出为2x2。

输入矩阵可展开为16维向量,记作x
输出矩阵可展开为4维向量,记作y
卷积运算可表示为

不难想象C其实就是如下的稀疏阵

平时神经网络中的正向传播就是转换成了如上矩阵运算。
那么当反向传播时又会如何呢?首先我们已经有从更深层的网络中得到的

回想第一句话,你猜的没错,所谓逆卷积其实就是正向时左乘CT,而反向时左乘(CT)^T,即C的运算。

逆卷积的一个很有趣的应用是GAN(Generative Adversarial Network)里用来生成图片

相关文章

  • 深度学习中的逆卷积

    知乎@张萌 逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。逆卷积(Deconvolution)比较...

  • 深度学习中的各种卷积操作

    吐槽:为啥简书不支持[TOC]生成目录 深度学习中的各种卷积操作 1、深度学习中的卷积操作   在神经网络中,卷积...

  • 各种卷积网络(转)

    原:万字长文带你看尽深度学习中的各种卷积网络 卷积 VS 互关联 深度学习中的卷积网络(单通道版,多通道版) 3D...

  • 深度可分离卷积、分组卷积、扩张卷积、转置卷积(反卷积)

    对深度可分离卷积、分组卷积、扩张卷积、转置卷积(反卷积)的理解 [深度学习]转置卷积(Transposed Con...

  • Convolution Network and Applicat

    吴恩达的深度学习课程 中的卷积网络部分 卷积网络 使用卷积相当于提取图片的边缘特征,利用深度学习改变滤波器让其可以...

  • 一文带你认识深度学习中不同类型的卷积

    卷积(convolution)现在可能是深度学习中最重要的概念。靠着卷积和卷积神经网络(CNN),深度学习超越了几...

  • CNN中常用的四种卷积详解

    卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络,深度学习才超越了几乎其他所有的机器学习手段。这期...

  • CNN的基础知识

    CNN,全名卷积神经网络,是深度学习的一种,它与人工智能,机器学习,表示学习,深度学习的关系见下图(来自:解析卷积...

  • Deep learning approach to Fourie

    傅里叶ptychographic显微镜的深度学习方法   卷积神经网络(CNN)在解决复杂的逆问题方面取得了巨大的...

  • 深度学习入门

    深度学习 主要内容: 什么是深度学习 卷积神经网络的基本流程a. 卷积b. ReLUc. 池化d. 全连接 实验:...

网友评论

    本文标题:深度学习中的逆卷积

    本文链接:https://www.haomeiwen.com/subject/hrvbtxtx.html