卷积神经网络-原理

1、章节提纲

章节提纲.PNG

卷积神经网络适用于图片处理，比如：人脸识别，表情识别等等。

2、卷积

标题.PNG
推荐阅读.PNG
该文章详细介绍了卷积公式的含义。
卷积公式.PNG
卷积是关于两个函数的运算，它通常用雪花的形式表示，直观地理解可以是得到一个关于两个函数相互运算之后的新的函数。
核.PNG
图片的卷积运算.PNG
我们用一个22、33、5*5的过滤器去遍历需要处理的图片，按照从左到右，从上到下，一次步长为一个像素点的顺序，使过滤器的每一个像素点的值与原图片的值做点乘运算相加求和，得到一个新的值，作为特征图的像素，得到的新的特征图从直观上理解，像素点的值越大，表示该特征越明显。
卷积层.PNG
卷积层是由许多特征层组合而成的。
gimp的特征图的软件.PNG
这个软件相当于开源的PS，利用这个软件可以自己设置过滤器，得到不同的特征图，效果堪比滤镜。
原图.PNG
尖锐化.PNG
可以看出尖锐化处理后，整个图片的立体感更加明显了，因为，我们突出了建筑特征，增加了建筑的细节显示。
模糊化.PNG
整个图片变得非常模糊，看不清细节，也就是看不清边角特征。
边缘加强.PNG
只看得到建筑的主要轮廓。
边缘凸显.PNG
边缘特征更加明显，几乎连纹理的边缘都能看出来。
浮雕.PNG
是图片显示一种浮雕的状态，所谓浮雕就是用刻刀在石膏上雕刻，出来的效果是建筑的边角特征比较明显，不圆润。
自制滤镜.PNG
这个滤镜呈现的也是浮雕的效果。
gimp下载地址.PNG
在菜单栏的滤镜-常规-卷积矩阵里可以利用卷积求特征图。

3、线性整流激活层

标题.PNG
线性整流函数.PNG

没有理论依据，但是在实际操作中，我们在卷积层后面加上一个线性整流层的处理，效果会更好。
卷积的操作是一个线性的过程，在两个卷积层中加上线性整流，相当于给模型加入了非线性特征。圆圈中的两个过程被认为是一层完整的卷积层，这也就是原课程为什么把这一节归入卷积层的原因。

原图.PNG
卷积层.PNG

我们可以看到负数点趋近于黑色，正数点趋近于白色。

激活层.PNG
我们可以看到在经过激活处理后，此时只有0和正数，也就是只有灰色和趋近白色的颜色，图片层次更加清晰。
我们只需要知道增肌线性激活这个非线性过程之后，有助于神经网络训练效果的提升。
推荐文章.PNG
这篇文章讲了三个激活函数
推荐文章.PNG
这篇文章讲了leaky Relu作为激活函数，在实际运用中表现更好的原因。

他试图告诉我们LeakyRelu预测效果更好，但是训练时间更长，直觉上是由于对于一些负数，在运用梯度下降进行反向传播参数调整时，Leaky会考虑到这些负值，只是调整速度慢点，但是Relu就是完全忽略掉这些负值。

4、最大池化

标题.PNG
猎豹图片.PNG
不同形态的猎豹.PNG

我们在做猎豹识别的时候，在乎的是它特征之间的相对位置，而不是绝对位置，因为随着图片的旋转压缩，以及猎豹姿势的变化，它的特征绝对位置都会发生变化，但是相对位置不会。（特征是鼻子、嘴巴、豹纹等）。

最大池化.PNG
最大池化是选取2*2像素中的最大的像素值作为池化后的输出像素值，它既可以减少特征的冗余度，又可以避免过度拟合，还可以保证特征的相对位置不变。我看的永远是整体，不会被细节困扰，保证的就是不会过度拟合，比如关注到猎豹的小伤口等等。
推荐阅读.PNG

除了最大池化，还有最小池化，和平均池化，其中，平均池化是线性的过程，这篇文章向我们解释了不同的池化之间的区别，简短精炼。

池化层.PNG
数字识别网站.PNG
RNN数字识别过程.PNG
我们可以看到第一层卷积层，第二层最大池化层，第三层卷积层，第四层虽大池化层，以及左边的前两个最可能的数字。
像8的3.PNG
不好意思，我们预测它最可能是8。
笑脸.PNG
它为每一个数字的可能性都很小，但是我们还是会给出答案。如果是我设计，小于某一个概率，就说不是数字。

5、扁平化

标题.PNG
扁平化.PNG

偏平化其实就是将最后一次最大池化的结果排列成向量的形式。

扁平化层.PNG
最大池化后的特征图对应的就是输入层的特征向量，每一个向量对应一个输入神经元。
ANN输入层.PNG

现在考虑的就是输入层输入是将每张特征图串成一列输入，还是将每张特征图的对应位置的像素串成一列进行输入，这里默认为是每张特征图串成一列作为一个观察值输入，由于我们没有学到将一个向量作为一个观察点输入一个神经元。

6、全连接

全连接是指神经元和上一层的的神经元全部连接构成的神经网络。

实例.PNG
实例.PNG

我们这里之所以把输出神经元设为两个，是因为实际中，我们的分类结果可能有多个，不只是二值问题，比如前面讲过的数字识别。
我们的得到每一个分类结果的预测概率，还有一个实际概率（0和1），在实际概率和预测概率之间会有一个距离，我们把它称之为损失函数，损失函数的表达有很多中，在神经网络中，我们比较常用的是ENTROPY。
这里讲一下，我们对权重进行反向传播，梯度下降更新时，更新的不仅仅是权重，还可以将特征探测器（过滤器）中的一些参数进行更新。

神经元和结果之间的关系.PNG
我们可以看到，当我们输入一个观察值，进行训练时，最后一层神经元的值较大的表明这几个特征对于正确分类结果的影响较大，我们对应给它们分配的权重也会较大。
猫训练.PNG
同样进去一张猫的照片，最后一层隐藏层，值较大的表明是对猫比较重要的特征，相应分配给它的权重会更大一点，这里也可以看出为什么我们用的是全神经网络，因为不同的分类结果对应着不同的特征重要度。
理解输出值.PNG

我们训练好的RNN，进行预测时，输出的不是一类结果的可能性，而是它是每一种结果的可能性。

7、总结

RNN.PNG
推荐阅读.PNG
神奇识别大放送
附：卷积神经网络是什么
正面还是侧面.PNG
年轻还是年老.PNG
鸭还是兔.PNG
眼花.PNG
我们并不能通过整体图片看出什么，我们看的是图片特征，我们最终对于图片的判定是关乎于我们关注哪一部分特征，有时会出现特征的冲突，所以我们在没有得到足够的特征信息时很容易判断出错。
CNNvsANN.PNG
卷积神经网络的应用越来越多。
心情识别.PNG
数字图片的本质.PNG
黑白.PNG
步骤.PNG
看图，看的方向，关注的轮廓拼接。
我们要关注不同的方向的轮廓。