美文网首页
卷积神经网(1)

卷积神经网(1)

作者: zidea | 来源:发表于2020-09-26 19:48 被阅读0次
卷积核组

<img src="images/kernel_group.png">
我们把这样 7 卷积核放在一起就是卷积核组,我们现在第一个卷积核看起,这个卷积核应该是高斯偏导核,用于检测水平的边,前 6 卷积核是用于检测不同方向的边,而最后一个用于检测图片上是否有圆形图案。

<img src="images/kernel_detect_circle.png">
<img src="images/kernel_detect_hline.png">

基于卷积核组的图像表示
  • 设计卷积核组
  • 利用卷积核组对图像进行卷积操作获取对应的特征响应图组
  • 利用特征响应图的某种统计信息来表示图像中的纹理
    <img src="images/kernel_grp_presentation.png">

那么我们是如何用卷积核提取图案信息来表示图像呢,首先我们用卷积核组每一个卷积核去扫描图片得到对应响应图,卷积核下方对应的图,然后将这个响应图用一个向量来表示,也就是将图片矩阵展平,如100 \times 100大小的响应图展平就是 10000 维的向量(r_{11}),然后在将这些向量组合就得到基于卷积核组的图像表示。

r_1 = \left[ r_{11}, r_{12},\cdots,r_{1\times n} \right]

  • r_1 表示第一个特征图展开的向量
  • r_{1\times n} 表示第 1 个特征图上第 n 个位置的响应值

纹理分类任务

接下来介绍一种更简单表示方式,因为基元位置与分类关系不大,也就是对分类没有什么影响。所以我们在用纹理表示图片没有必要记录位置信息。

  • 基元位置无关
  • 关注出现了哪种基元对应的纹理以及基元出现的频率
    好基于上面内容,我们可以用每一个响应图所有值平均值的组合来表示图像
    <img src="images/kernel_grp_presentation_2.png">

\overline{r_i}i个特征响应图的均值

卷积核组设计

每一个卷积核描述一种结构。

  • 卷积核类型(边缘、条形以及点状)
  • 卷积核尺度(3-6个尺度)
  • 卷积核方向(6个角度)

<img src="./images/cn_001.jpeg">

卷积层

  • 特征响应图组深度等于卷积核的个数
  • 不同响应特征图反映了输入图像对不同卷积核响应的结果
  • 同一个特征响应图上不同位置的值表示输入图像上不同位置对同一卷积核的响应结果

卷积核步长
\begin{aligned} W_2 = \frac{W_1 - F + 2P}{S+1}\\ H_2 = \frac{H_1 - F + 2P}{S+1} \end{aligned}

  • F 卷积核尺寸
  • S 卷积核步长
  • P 填充数量

池化层

  • 对每一个通道单独操作,对每一个特征响应图独立进行,降低特征响应图组中每一个特征响应的宽度和高度,减少后续卷积层的参数的数量。
    O(m^2n^2)K

  • n 表示图像像素数量

  • m 表示卷积像素

  • K 表示卷积的数量
    因为在进行反向传播时需要保证前向计算结果要保存在显存内。通常图像尺寸好处还有同时增加卷积核视野范围。

  • 减少运算量

  • 增加卷积核大小

池化层(下采样)

不改变特征图的数量,

  • 最大池化: 有点类似非极大值抑制
  • 平均池化

池化层属性

  • 池化窗口
  • 池化步长

有时候图中局部内容与其他部分图像关系并不大,图中人与环境关系并不大,还有在人脸的图像中,眼睛局部的图像和远处的头发关系并不大,所以我们可以根据特征将图像划分。正式因为图像的区域性,做一个筛检,将全连接转换为局部连接。当我们才有局部连接后,参数会大大减少。还拿 1000 \times 1000 的图像,一下层神经元还是 10^6 神经元,但是局部连接范围为 10 \times 10 这样就是 10\times10\times10^6 = 10 ^8 从数据可以看减少 100 倍。

每次循环会不会增加 filter map 深度

25 特性会得到 25 feature map
下一个 25 feature map 还是的到 25 feature map 而不是 25 ^ 2 feature map

Fattern

这是展平层,

相关文章

  • 3种常见神经网络

    1.卷积网络(convolutional neural network) 卷积神经网络简单理解 从字面上卷积神经网...

  • 卷积神经网(1)

    卷积核组 我们把这样 7 卷积核放在一起就是卷积核组,我们现在第一个卷积核看起,这个卷积核应该是高斯偏导核,用于检...

  • 卷积神经网CNN(1)

    感谢李宏毅老师参考《TensorFlow 学习指南》和《TensorFlow 深度学习》参考网上视频 卷积神经网络...

  • 2020机器学习卷积神经网(1)

    卷积神经网在当下流行深度学习框架如 tensorflow mxnet 都提供 API 很容就能够实现卷积神经网,但...

  • (转载)卷积神经网络CNN总结

    从神经网络到卷积神经网络(CNN)我们知道神经网络的结构是这样的: 那卷积神经网络跟它是什么关系呢?其实卷积神经网...

  • 一文让你理解什么是卷积神经网络

    一文让你理解什么是卷积神经网络 从神经网络到卷积神经网络(CNN) 我们知道神经网络的结构是这样的: 那卷积神经网...

  • 卷积神经网络中的参数共享和局部连接

    参考卷积神经网络的局部连接和权值共享如何理解卷积神经网络中的权值共享? 卷积神经网络中的卷积层有两个核心的思想,网...

  • 卷积神经网络原理

    卷积神经网络三个结构 神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网...

  • 7.cnn

    1.卷积神经网络详解 2.卷积神经网络简介 卷积神经网络由一个或多个卷积层和顶端的全连通层(也可以使用1x1的卷积...

  • 从Keras开始掌握深度学习-3 实现卷积神经网络

    前言 关于卷积神经网络的详细内容可以参考我前面写的文章:从零开始机器学习-18 CNN:卷积神经网络在了解了卷积网...

网友评论

      本文标题:卷积神经网(1)

      本文链接:https://www.haomeiwen.com/subject/vbkhuktx.html