美文网首页
图像检测之图像分类(上)

图像检测之图像分类(上)

作者: 姜茶无糖 | 来源:发表于2019-02-13 21:17 被阅读0次

    图片分类

    判断图片中是否有某个物体:一个图片对应一个标签,性能指标:前一中一或者前五中一。

    卷积神经网络(CNN)

        基础神经网络:神经元,输入向量x,权重向量w,偏置标量b,激活函数sigmoid。

    基础神经网络

        浅网络:3~5层(只要层数足够深,能够拟合出任意函数),优化:梯度(导数)下降,BP后向传播(链式规则)

            梯度下降优化:交叉熵     C=-\frac{1}{n}\sum_{x}\sum_{j}[y_{j}\ln a_{j}^L+(1-y_{j}\ln (1- a_{j}^L) ) ] (a为神经网络的实际输出)

                                     批量梯度下降:基于所有数据集

                                     随机梯度下降:学习率/步长,扰动->动量算法(momentum)

        

        构建CNN的基本层

            卷积层    /    激活函数

            池化层    /    平均池化    /    最大池化

            全连接层

            批归一化层

            CNN卷积层

                3通道(RGB)输入图片->3Dtensor

                

    图片

                CNN卷积

                    3D滤波器/卷积核

                        以扫描窗的形式,对图像做卷积

                        每层含有多个核,每个核对应一个输出通道

                        提取局部特征

                        权重参数需要自学习

    卷积

                        非线性激活函数

                            sigmoid函数

                            ReLU函数(分段线性函数,无饱和问题,可以明显减轻梯度消失问题,深度网络能够进行优化的关键)

                        组合简例

                            卷积步长大于1,有降维作用。

    卷积

                    CNN池化层

                        作用:特征融合/将维

                        无参数需要学习

                        超参数(尺寸/步长/计算类别:最大化池化/平均池化)

                        

    池化

                    CNN全连接层

                        作用:推理器,分类器(卷积层用来提取数字特征,层数越深,语义越高)

                        普通神经网络/全局感受野/去除空间信息/需要学习参数/等效于全局卷积。

                        全连接层整合卷积层的所有特征输出为1*k的矩阵

                

                    CNN——Softmax层:

                        指归一化函数:将一个实数值向量压缩到(0,1)所有元素和为1,最后一个全连接层对接1000-way的softmax层,得出1000类标签的概率值。取log值后,用于构建loss

                    

    归一化函数

                    工程技巧

                        图像像素中心化:(减去各自通道的均值)

                        防过拟合,提高泛化能力:数组增强*10,256*256中提取中心和四角的224*224子图片*5,水平翻转*2。

                                                                    Dropout随机失活,训练中随机让一些神经元的输出设为0,失活率0.5(一般在全连接层使用)。

                                                                     weight decay权重衰减(L2正则)C=C_{0}+\frac{\lambda }{2n}\sum_{w}w^2

    AlexNet网络(标志着DNN深度学习革命的开始)

            5个卷积层+3个全连接层,60M个参数+650K个神经元,2个分组->2个GPU(训练时长一周,50x加速)。

            新技术:ReLU非线性激活,Max pooling池化,Dropout regularization

            

    AlexNet网络

    AlexNet网络

        局部响应归一化(LRN)模拟神经元的侧抑制机制,某个位置(x,y)上夸通道方向上的归一化,n为领域值,N为通道数,超参数K=2,n=5,\alpha =0.0001,\beta =0.75

    局部响应归一化函数 局部响应归一化示意 AlexNet网络

            

    VGG网络:一个大卷积核分解成连续多个小卷积核,核分解:7*7核->3个3*3核(由ReLU连接),参数数量49C^2
->27
C^2
,可以减少参数,降低计算,增加深度,继承了AlexNet结构特点:简单,有效。网络改造的首选基础网络。

    相关文章

      网友评论

          本文标题:图像检测之图像分类(上)

          本文链接:https://www.haomeiwen.com/subject/jwzteqtx.html