美文网首页
1x1卷积核的作用

1x1卷积核的作用

作者: Even_Wang | 来源:发表于2018-07-24 00:20 被阅读0次

引用来源:知乎-一文读懂卷积神经网络中的1x1卷积核

* 注:本篇文章只是对自己知识的总结,大部分内容来自上面原文.

卷积核作用和定义: 

1. 卷积核(convolutional kernel ), 可以看作对某个局部的加权求和;它是对应局部感知,它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体,而是先从局部开始认识,这就对应了卷积。

2. 卷积核的个数就对应输出的通道数(channels). 这里需要说明的是对于输入的每个通道,输出每个通道上的卷积核是不一样的。比如输入是28x28x192(WxDxK,K代表通道数),然后在3x3的卷积核,卷积通道数为128,那么卷积的参数有3x3x192x128,其中前两个对应的每个卷积里面的参数,后两个对应的卷积总的个数(一般理解为,卷积核的权值共享只在每个单独通道上有效,至于通道与通道间的对应的卷积核是独立不共享的,所以这里是192x128)。

1x1卷积核的作用和定义:

1. 降维/升维 : 当输入为6x6x32时,1x1卷积的形式是1x1x32,当只有一个1x1卷积核的时候,此时输出为6x6x1。此时便可以体会到1x1卷积的实质作用:降维。当1x1卷积核的个数小于输入channels数量时,即降维.

注:1x1卷积一般只改变输出通道数(channels),而不改变输出的宽度和高度

由于 1×1 并不会改变 height 和 width,改变通道的第一个最直观的结果,就是可以将原本的数据量进行增加或者减少。这里看其他文章或者博客中都称之为升维、降维。但我觉得维度并没有改变,改变的只是 height × width × channels 中的 channels 这一个维度的大小而已

2. 增加非线性:  1*1卷积核,可以在保持feature map尺度不变的(即不损失分辨率)的前提下大幅增加非线性特性(利用后接的非线性激活函数),把网络做的很deep

3. 跨通道信息交互(channal 的变换):使用1x1卷积核,实现降维和升维的操作其实就是channel间信息的线性组合变化,3x3,64channels的卷积核后面添加一个1x1,28channels的卷积核,就变成了3x3,28channels的卷积核,原来的64个channels就可以理解为跨通道线性组合变成了28channels,这就是通道间的信息交互

1x1卷积核的实际应用:

1.  GoogleNet Inception

2. ResNet

相关文章

  • PyTorch Convolution Layers

    卷积核的作用是什么? 1x1 卷积核在 Network in Network 中被提出了,主要作用有:1.压缩/提...

  • 关于不同卷积核大小的思考

    未经同意,不得转载 一、1x1卷积核的作用 (1)实现跨通道的交互和信息整合 使用1x1卷积核,其实就是对不同ch...

  • 1*1卷积核的作用

    1*1卷积核作用之我见 1X1卷积顾名思义就是卷积核的尺寸为1,不同与2维或3等卷积核,没有考虑在前一特征局部信息...

  • 1x1卷积

    转自:1X1卷积核到底有什么作用呢?我来说说我的理解,我认为1×1的卷积大概有两个方面的作用吧:1. 实现跨通道的...

  • 为什么要使用1x1卷积

    为什么要使用1x1卷积,哪些情况可以使用1x1卷积?11卷积的主要作用有以下几点:1、降维( dimension ...

  • 【随笔记录】1 * 1卷积核的作用

    前 言 之前只是知道1x1的卷积核用在Inception模块中具有降维的作用,并没有认真的思考它是怎么样实现降维...

  • 【随笔记录】1 * 1卷积核的作用

    前 言 之前只是知道1x1的卷积核用在Inception模块中具有降维的作用,并没有认真的思考它是怎么样实现降维...

  • 1x1卷积核作用

    Pointwise Convolution,俗称叫做 1x1 卷积,简写为 PW,主要用于数据降维,减少参数量。1...

  • 1x1卷积核的作用

    引用来源:知乎-一文读懂卷积神经网络中的1x1卷积核 * 注:本篇文章只是对自己知识的总结,大部分内容来自上面原文...

  • 卷积神经网络中用1*1 卷积有什么作用或者好处呢?

    1X1卷积核最开始是在颜水成论文 [1312.4400] Network In Network 中提出的,后来被[...

网友评论

      本文标题:1x1卷积核的作用

      本文链接:https://www.haomeiwen.com/subject/mybsmftx.html