ResNet -- 卷积神经网络

作者: 元宝的技术日常 | 来源:发表于2020-04-30 21:51 被阅读0次

[深度卷积模型]吴恩达深度学习coursre4week2思考小结
3.2 卷积神经网络进阶-Vggnet-Resnet
3.4 卷积神经网络进阶-Vggnet-Resnet 实战
ResNet -- 卷积神经网络
Pytorch提取不同层次图片的特征
残差网络ResNet代码解读
CS231n 卷积神经网络: 架构, 卷积/池化层(上)
视觉
datawhale-task05（卷积神经网络基础；leNet；
卷积神经网络

1、ResNet 出现解决的问题

上文中，说到VggNet优秀的成绩，证明了更深的网络，能更好的提取特征。但当模型深度达到某个程度后继续加深会导致训练集准确率下降。

该如何解呢？可以从一个假设入手，假设是因为网络过深而无法优化。何凯明和他的团队，就这个问题做了优化，引入了跳连的结构来防止梯度消失的问题，进而可以进一步加大网络深度。

2、ResNet 介绍

先看看什么叫跳连，如下图所示：

跳连

如上图，跳连是输入x后，有两条分支来处理x，其中一条分支是x经过两层3 * 3卷积，另一条线是将x和经过卷积后结果相加在一起。从数学公式可以推出：H(x)=F(x)+x。F(x)是卷积过程，H(x)是跳连的过程，又称作为残差学习。为什么生效呢？如果出现梯度消失，这时F(x)学不到东西，但加上x效果至少能保证和浅层的网络持平。