美文网首页
【AI-1000问】为什么现在大家喜欢用3*3小卷积?

【AI-1000问】为什么现在大家喜欢用3*3小卷积?

作者: 有三AI | 来源:发表于2019-04-09 22:33 被阅读0次

往期视频(前往公众号有三AI观看)

为什么现在大家喜欢用3*3小卷积?

我们知道现在在构建CNN时大家喜欢用3*3的卷积,而不是早期的5*5,7*7等更大尺寸的卷积,如vgg系列网络中全部使用了3*3的卷积。那么你知道为什么这样做吗?

作者/编辑 汤兴旺

这里既然用3*3卷积来替代更大尺寸的卷积,那么有一个前提,就是要保证两者具有同样大小的输出和感受野

两个3*3的卷积才能代替一个5*5的卷积;三个3*3的卷积才能代替一个7*7的卷积。

以stride=1,padding=0我们来看看为何。

我们首先看一下采用5*5卷积的方案。

假设图像大小为n*n,采用5*5的卷积核其输出为(n-5)/1+1=n-4。

我们再看一下采用3*3卷积的方案。

同样图像大小为n*n,第一次卷积后输出为(n-3)/1+1=n-2,第二次卷积后输出为(n-2-3)/1+1=n-4。

从上面的图可以看出,采用一个5*5卷积核和两个3*3卷积核,它们卷积后的输出是相同大小,输出的每一个像素的感受野也相等

在这样的前提下,有什么好处呢?

1、网络层数增加了,这增加了网络的非线性表达能力。

2、参数变少了,两个3*3和一个5*5的参数比例为3×3×2/(5×5)=0.72,同样的三个3×3和一个7×7参数比例为3×3×3/(7×7)=0.55,将近一倍的压缩,这可是很大提升。

这就是用3*3卷积带来的最明显的两个优势。

思考

近几年的经典网络中多半都采用了3*3的小卷积,关于它的好处还有一些值得研究的空间,大家可以延伸思考下。

如果想加入我们,后台留言吧

转载文章请后台联系

侵权必究

更多请关注知乎专栏《有三AI学院》和公众号《有三AI》

相关文章

  • 【AI-1000问】为什么现在大家喜欢用3*3小卷积?

    往期视频(前往公众号有三AI观看) 为什么现在大家喜欢用3*3小卷积? 我们知道现在在构建CNN时大家喜欢用3*3...

  • 关于感受野的计算

    先提个问题:为什么 3 个 3x3 同时 s=1 的卷积操作后相当于做一次 7x7 的卷积操作呢? 假设原图大小为...

  • 空洞卷积

    理解空洞卷积 标准卷积可以看做 r = 1 的空洞卷积,是空洞卷积的特殊形式。 标准卷积:以3*3为例,以下分辨率...

  • 细数那些“高大上”的卷积

    卷积只能在同一组进行吗?-- Group convolution 卷积核一定越大越好?-- 3×3卷积核 每层卷积...

  • 关于机器学习的一些知识点

    2019-7-26更新1.卷积1)3维卷积核对3维数据卷积的结果是1维的。2)n个3维卷积核卷积的结果是n维的 常...

  • YOLOV7结构图分析

    其中下面结构中所用的卷积均为CBA卷积;RepConv在推理时为普通3x3卷积;待完善

  • filter concat理解

    首先卷积 1*1,3*3,5*5,的output size 只与step有关,与卷积核的大小无关。图像经过的卷积核...

  • 关于CNN

    1.理解卷积神经网络中的通道 channel 2.手把手教你用 TensorFlow 实现卷积神经网络 3.ten...

  • 各种卷积简介

    3D 卷积 实际上是对一个 3D 体积执行卷积。但通常而言,我们仍在深度学习中称之为 2D 卷积。这是在 3D 体...

  • 2个3*3卷积核对一个5*5卷积核的替代性分析 2019-11-

    简单地说明一下小卷积(3∗3 3*33∗3)对于5×5 5×55×5网络感知野相同的替代性。 我们假设图片是28*...

网友评论

      本文标题:【AI-1000问】为什么现在大家喜欢用3*3小卷积?

      本文链接:https://www.haomeiwen.com/subject/eyfmiqtx.html