图片分类
判断图片中是否有某个物体:一个图片对应一个标签,性能指标:前一中一或者前五中一。
卷积神经网络(CNN)
基础神经网络:神经元,输入向量x,权重向量w,偏置标量b,激活函数sigmoid。
基础神经网络浅网络:3~5层(只要层数足够深,能够拟合出任意函数),优化:梯度(导数)下降,BP后向传播(链式规则)
梯度下降优化:交叉熵 (a为神经网络的实际输出)
批量梯度下降:基于所有数据集
随机梯度下降:学习率/步长,扰动->动量算法(momentum)
构建CNN的基本层
卷积层 / 激活函数
池化层 / 平均池化 / 最大池化
全连接层
批归一化层
CNN卷积层
3通道(RGB)输入图片->3Dtensor
图片
CNN卷积
3D滤波器/卷积核
以扫描窗的形式,对图像做卷积
每层含有多个核,每个核对应一个输出通道
提取局部特征
权重参数需要自学习
卷积非线性激活函数
sigmoid函数
ReLU函数(分段线性函数,无饱和问题,可以明显减轻梯度消失问题,深度网络能够进行优化的关键)
组合简例
卷积步长大于1,有降维作用。
卷积CNN池化层
作用:特征融合/将维
无参数需要学习
超参数(尺寸/步长/计算类别:最大化池化/平均池化)
池化
CNN全连接层
作用:推理器,分类器(卷积层用来提取数字特征,层数越深,语义越高)
普通神经网络/全局感受野/去除空间信息/需要学习参数/等效于全局卷积。
全连接层整合卷积层的所有特征输出为1*k的矩阵
CNN——Softmax层:
指归一化函数:将一个实数值向量压缩到(0,1)所有元素和为1,最后一个全连接层对接1000-way的softmax层,得出1000类标签的概率值。取log值后,用于构建loss
归一化函数
工程技巧
图像像素中心化:(减去各自通道的均值)
防过拟合,提高泛化能力:数组增强*10,256*256中提取中心和四角的224*224子图片*5,水平翻转*2。
Dropout随机失活,训练中随机让一些神经元的输出设为0,失活率0.5(一般在全连接层使用)。
weight decay权重衰减(L2正则)
AlexNet网络(标志着DNN深度学习革命的开始)
5个卷积层+3个全连接层,60M个参数+650K个神经元,2个分组->2个GPU(训练时长一周,50x加速)。
新技术:ReLU非线性激活,Max pooling池化,Dropout regularization
AlexNet网络
AlexNet网络
局部响应归一化(LRN)模拟神经元的侧抑制机制,某个位置(x,y)上夸通道方向上的归一化,n为领域值,N为通道数,超参数K=2,n=5,=0.0001,=0.75
局部响应归一化函数 局部响应归一化示意 AlexNet网络
VGG网络:一个大卷积核分解成连续多个小卷积核,核分解:7*7核->3个3*3核(由ReLU连接),参数数量->,可以减少参数,降低计算,增加深度,继承了AlexNet结构特点:简单,有效。网络改造的首选基础网络。
网友评论