卷积神经网络（CNN，Convolutional Neural Network）
卷积层（Convolutional Layer）中最重要的概念之一：卷积运算
传统的卷积运算需要反转和平移，但是CNN中的卷积层中的卷积运算没有翻转，只是进行“滑动”，和相关运算更相似。
全连接层（DNN，Dense Neural Network）
全连接层中计算类型为矩阵-向量乘积。
两者对比：
卷积层：参数数量少，计算量大；
全连接层：参数多，计算量小；
（注：在计算加速优化时，重点应放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层）
附：
深度神经网络中最大的问题：梯度消失。
产生原因（主要是在使用饱和激活函数时较明显）：使用Sigmoid、tanh函数时，神经网络进行误差反向传播时，各层都要乘以激活函数的一阶导数，梯度每传递一层就会衰减一次，这样的话，在网络层数较多时，梯度就会不停的衰减直至消失。导致的不良影响是：训练网络时收敛缓慢。
在使用ReLU激活函数（非饱和）则可加快收敛速度。
网友评论