1.Wide ResNet
Wide ResNet为Zagoruyko等人于2016年提出，其认为残差结构比深度更重要。他们设计了更宽的残差模块（如图2所示），实验证明50层的加宽残差网络效果比152层的原ResNet网络效果更好。
2.ResNeXT
ResNeXT由Xie等人于2016年提出，与Wide ResNet不同，ResNeXT在ResNet的基础上通过加宽inception个数的方式来扩展残差模块，它减少了传统 ResNet 所需的超参数数量。这是通过使用“基数”来实现的，这是在ResNet的宽度和深度之上的一个附加维度。基数定义转换集的大小。如图3所示。
图2 加宽的残差网络模块
图3 ResNeXT网络模块
3.DenseNet
DenseNet由Huang等人于2017年提出，网络模块如图4所示。在DenseNet中，每一层都与其他层相关联，这样的设计也大大缓解了“梯度消失”的问题。
DenseNet模型，它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense
connection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用（feature
reuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能。
图4 DenseNet核心网络结构
网友评论