残差网络 resnet

1) 优点

残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。（网络越深，提取到的特征越多，表达能力越强）

2) 网络的深度为什么重要？

因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息。

3) 为什么不能简单地增加网络层数？

· 对于原来的网络，如果简单地增加深度，会导致梯度弥散或梯度爆炸。

4) 退化问题

网络层数增加，但是在训练集上的准确率却饱和甚至下降了。这个不能解释为overfitting，因为overfit应该表现为在训练集上表现更好才对。

退化问题说明了深度网络不能很简单地被很好地优化。

5) 怎么解决****梯度弥散和****退化问题？

深度残差网络。典型的网络单元结构如下：

网络单元结构图

Weight=1 可以跳过某些层