TensorFlow系列专题（十三）：CNN最全原理剖析（序）

作者: 人工智能遇见磐创 | 来源:发表于2019-04-19 19:19 被阅读97次

一、前言

上一篇我们一直说到了CNN [1]卷积层的特性，今天会继续讲解卷积层的基本结构。

二、卷积层（余下部分）

1. 卷积的基本结构

如图1所示，假设输入到神经网络中的是一张大小为256 * 256的图像，第一层隐藏层的神经元个数为241 * 241。在只考虑单通道的情况下，全连接神经网络输入层到第一层隐藏层的连接数为(256 * 256) * (241 * 241)，也就是说输入层到第一层隐藏层有(256 * 256) * (241 * 241) + 1个参数（1为偏置项参数个数）。而在卷积神经网络中，假设我们使用了一个大小为16 * 16的卷积核，则输入层到第一层隐藏层的连接数为(256 * 256) * (16 * 16)，由于我们的卷积核是共享的，因此参数个数仅为 (16 * 16) + 1个。有时候为了提取图像中不同的特征，我们可能会使用多个卷积核，假设这里我们使用了100个大小为16 * 16的卷积核，则输入层到第一层隐藏层的参数个数也仅为100 * (16 * 16) + 1，这依然远远少于全连接神经网络的参数个数。

根据图4-11所示的例子我们可以看到卷积神经网络的两个重要特性：

局部连接：全连接神经网络中，第层的每一个神经元和第层的每一个神经元之间都有连接。而在卷积神经网络中，第层的每一个神经元都只和第层的部分神经元之间有连接，而这个"部分"有多大，则具体取决于卷积核的大小。
权值共享：在卷积神经网络中，同一隐藏层的每一个神经元所使用的卷积核都是相同的，卷积核对同一隐藏层的神经元来说是共享的。

图1 全连接神经网络（左）和卷积神经网络（右）连接数示例

在卷积层中，特征图（feature map，又称为特征映射）是输入层的图像（或其它的特征图）经过卷积之后得到的特征输出。一个卷积核只负责提取某一类特定的特征，为了充分的提取出图像中的信息，我们通常会使用多个卷积核。卷积层的一般性结构可以表示如下：

输入特征映射组：输入特征映射组 $X(X∈R^{M×N×D})$ 是一个三维的张量（tensor），其中每个切片（slice）矩阵 $X^d (X^d∈R^{M×N},1≤d≤D)$ 是一个输入特征映射。每个特征映射的大小为 $M×N$ ， $D$ 是输入特征映射的个数。
输出特征映射组：输出特征映射组 $\mathrm{Y}(\mathrm{Y} \in \mathbb{R}^{M \times N^{\prime} \times P})$ 也是一个三维张量，其中每个切片矩阵 $Y^{p}(Y^{p} \in \mathbb{E}^{M \times N}, 1 \leq p \leq P)$ 是一个输出特征映射。每个特征映射的大小为 $M^{\prime} \times N^{\prime}$ ， $P$ 是输出特征映射的个数。
卷积核：卷积核 $W(W∈R^{m×n×D×P})$ 是一个四维张量，其中每个切片矩阵 $W^{p,d} (W^{p,d}∈R^{m×n},1≤p≤P,1≤d≤D)$ 是一个二维的卷积核。

为了更直观的理解，我们看如图2所示的例子。示例中的输入特征映射组有两个特征映射，每个特征映射的大小为55，对应有M=5,N=5,D=2。输出特征映射组有三个特征映射，每个特征映射的大小为33，对应有M=3,N=3,P=3。卷积核的维度是3323，每个二维卷积核的大小为33，对应有m=3,n=3,D=2,P=3。

图2 一个卷积层的结构示例

图3所示是卷积层中从输入特征映射组到输出特征映射组的计算过程示例。卷积核 $W^{p,1}, W^{p,2}, ⋯, W^{p,D}$ 分别对输入的特征映射 $X^1,X^2,⋯,X^D$ 进行卷积，然后将卷积得到的结果相加，再加上一个偏置 $b^p$ 后得到卷积层的净输入 $Z^p$ ，如式1。最后经过一个非线性激活函数后得到输出特征映射 $Y^p$ ，如式2，其中函数 $f(∙)$ 为非线性激活函数。

在图3所示的例子中，每一个输入特征映射都需要个卷积核和一个偏置。假设每个二维卷积核的大小为 $m×n$ ，那么该层卷积层共需要的参数个数为： $(m×n)×P×D+P$ 。

图3 卷积层中计算过程示例

三、池化层

池化层（pooling layer）也称为子采样层（subsampling layer），池化层一般都是紧跟在卷积层之后，它的作用是进行特征选择，减少特征的数量，进而减少网络中参数的数量。

对于一个特征映射，我们可以将其划分为多个区域（这些区域可以有重合部分），池化就是对这些划分后的区域进行下采样（down sampling），然后得到一个值，并将这个值作为该区域的概括。池化层的方式有多种，一般常用的有最大池化（maximum pooling）和平均池化（mean pooling）。

最大池化（maximum pooling）：选取区域内的最大值的神经元作为该区域的概括。

平均池化（mean pooling）：取区域内所有神经元的均值作为该区域的概括。

如图4是一个最大池化和均值池化的示例，这里我们将一个特征映射划分为了4个区域，即池化窗口的大小为2×2，步长为2。

图4 最大池化和平均池化示例

目前大多数卷积神经网络中，池化层仅包含下采样操作，池化层没有需要训练的参数。但在一些早期的卷积网络中，会在池化层中使用一个非线性激活函数，例如我们会面会介绍的LeNet-5。现在，池化层的作用已经越来越小，通过增加卷积的步长也可以达到池化层同样的效果。因此在目前一些比较新的卷积神经网络中，池化层出现的频率已经越来越低。

四、卷积神经网络的基本结构

一个基本的卷积神经网络通常是由卷积层、池化层和全连接层交叉堆叠而成。如图5所示，由连续 $M$ 个卷积层和h个池化层构成一个卷积块（ $M$ 的取值一般为1~5，h的取值一般为0或1），一个卷积神经网络中可以堆叠 $N$ 个连续的卷积块（N的取值可以很大，较深的网络可以达到100多层）。在个连续的卷积块之后是 $K$ 个连续的全连接层（ $K$ 一般取1 ~ 2）。

图5 基本的卷积神经网络结构示意图

五、总结

本节介绍了卷积层的结构及池化层和卷积神经网络的特性，下一节将结合代码介绍基于CNN的一个实际比赛的冰山雷达波图像识别项目。

六、参考文献

[1] Alex Krizhevsky: ImageNet Classification with Deep Convolutional Neural Networks .NIPS 2012

TensorFlow系列专题（十三）：CNN最全原理剖析（序）

目录

一、前言

二、卷积层（余下部分）

1. 卷积的基本结构

三、池化层

四、卷积神经网络的基本结构

五、总结

六、参考文献

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

机器学习实战