- 减轻了梯度消失
- 加强了feature传递
- 更有效的利用了feature
- 减少了参数数量
解决的问题还是:随着网络的加深梯度消失会更加明显。
方案:每一层的输入包含所有前层的输入
优点:
网络更窄,参数更少,网络可以更深解决梯度消失的问题
resnet公式:

densenet公式:

battleneck layer: 由于每一层的输入是和之前所有层相关联,假设没有bottleneck如果每层的输出是32个通道,那32层的输入那就是3132接近1000个通道,如果加上11的卷积,(代码中的11卷积的channel是growth rate4)通道是128,然后在做3*3的卷积,大大减少了计算量。
transition layer:在两个dense block 之间, 将这些输出缩小到多少倍。
网友评论