DenseNet

作者: 一颗大葡萄树 | 来源:发表于2020-07-28 16:37 被阅读0次
  1. 减轻了梯度消失
  2. 加强了feature传递
  3. 更有效的利用了feature
  4. 减少了参数数量

解决的问题还是:随着网络的加深梯度消失会更加明显。
方案:每一层的输入包含所有前层的输入

优点:
网络更窄,参数更少,网络可以更深解决梯度消失的问题

resnet公式:


image.png

densenet公式:


image.png

battleneck layer: 由于每一层的输入是和之前所有层相关联,假设没有bottleneck如果每层的输出是32个通道,那32层的输入那就是3132接近1000个通道,如果加上11的卷积,(代码中的11卷积的channel是growth rate4)通道是128,然后在做3*3的卷积,大大减少了计算量。

transition layer:在两个dense block 之间, 将这些输出缩小到多少倍。

相关文章

  • DenseNet

    减轻了梯度消失 加强了feature传递 更有效的利用了feature 减少了参数数量 解决的问题还是:随着网络的...

  • DenseNet

  • DenseNet

    Densely Connected Convolutional Networks 这篇博客转载自原文链接 前言 在...

  • DenseNet

      DenseNet对应的论文是Densely Connected Convolutional Networks。...

  • DenseNet

    论文:https://arxiv.org/pdf/1608.06993.pdf[https://arxiv.org...

  • DenseNet与其他网络的对比图

    34层残差网络 残差网内部如下: DenseNet如下 DenseNet的主体框架(在每个Dense Block内...

  • DenseNet阅读笔记

    DenseNet是继ResNet之后提出的一种局部直连的网络。 DenseNet的优点可以总结为1)有效减轻梯度弥...

  • Models for CNN

    ResNet PreActResNet WildNet ResNeXT DenseNet Mobile Net

  • Pytorch DenseNet Fashion-Mnist

    pytorch 实现 DenseNet on Fashion-MNIST 运行过程

  • DenseNet详解

    一、概述 作为CVPR2017年的Best Paper, DenseNet 脱离了加深网络层数(ResNet)和加...

网友评论

      本文标题:DenseNet

      本文链接:https://www.haomeiwen.com/subject/duffrktx.html