resnet其实最主要的一点就是他里面的残差块。残差网络其实是由多种路径组合的一个网络,直白了说,残差网络其实是很多并行子网络的组合,整个残差网络其实相当于一个多人投票系统(Ensembling)。下面来说明为什么可以这样理解。网络的一部分就相当于少一些投票的人,如果只是删除一个基本的残差单元,对最后的分类结果应该影响很小;而最后的分类错误率应该适合删除的残差单元的个数成正比的,论文里的结论也印证了这个猜测。
具体这篇文章会多少带来一些启发。
通过具体的以及这么半年来的摸索,以及最近确实是对于具体网络的摸索,resnet这个残差块实际上就是再过一个卷积把通道数变回去,然后在和过这个block之前的输入加载一起输入到下一层。
网友评论