卷积神经网络
在前面的神经网络,才用的是典型的full-connected:网络中的神经元与相邻的层上的每个神经元均连接
共享权重和偏置的一个很大的优点是，它大大减少了参与的卷积网络的参数。直观地看,这有利于我们更快完成训练建立模型.
混合层
除了刚刚描述的卷积层，卷积神经网络也包含混合层（pooling layers）。混合层通常紧接着在卷积层之后使用。
它要做的是简化从卷积层输出的信息,把信息简化.
常用的有max-pooling以及L2 pooling.
卷积神经网络的输入层就是图像的原始像素，而输出层中的每一个节点代表了不同类别的可信度。
好了,分析一下Alex的CNN结构图,看看你能不能看懂
输入：224×224大小的图片，3通道
针对input_layer的输入数据,我们采用了一个1111的卷积核,跨距设置为4.但是你会发现初始位置以步长4为单位是无法刚好滑倒末尾位置.
这个时候我们需要对它做四周一下zero padding(填充),使得滑动窗口可以恰好停留到末尾.计算了一下需要增加3行,3列的zero padding.
增加了之后,经过卷积形成5555单通道的数据
第一层卷积：5×5大小的卷积核96个，每个GPU上48个。
第一层max-pooling：2×2的核。经过卷积和池化以后,我们输出的数据是一个2727的单通道数据
第二层卷积：3×3卷积核256个，每个GPU上128个。
第二层max-pooling：2×2的核。
第三层卷积：与上一层是全连接，33的卷积核384个。分到两个GPU上个192个。
第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
第五层卷积：3×3的卷积核256个，两个GPU上个128个。
第五层max-pooling：2×2的核。
第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
第二层全连接：4096维
Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
Refer
TensorFlow学习笔记2：构建CNN模型
Neural Networks and Deep Learning 英文版
Deep Learning (Adaptive Computation and Machine Learning series)
卷积神经
技术向：一文读懂卷积神经网络CNN
深度 | 从入门到精通：卷积神经网络初学者指南（附论文）
CNN笔记：通俗理解卷积神经网络
[透析] 卷积神经网络CNN究竟是怎样一步一步工作的？
Conv Nets: A Modular Perspective
Understanding Convolutions
网友评论