美文网首页tensorflow相关GoogleNet
GoogLeNet的心路历程(五)

GoogLeNet的心路历程(五)

作者: Traphix | 来源:发表于2016-08-08 16:30 被阅读4404次

今年年初的时候,Szegedy写了GoogLeNet的第三篇续作,如下:

Szegedy读了此论文后,蹦出了结合GoogLeNet与Residual Connections的奇思妙想,于是就有了上面那篇论文,主要贡献如下:

  • 1、在Inception v3的基础上发明了Inception v4,v4比v3更加复杂,复杂到不可思议
  • 2、结合ResNet与GoogLeNet,发明了Inception-ResNet-v1、Inception-ResNet-v2,其中Inception-ResNet-v2效果非常好,但相比ResNet,Inception-ResNet-v2的复杂度非常惊人,跟Inception v4差不多
  • 3、加入了Residual Connections以后,网络的训练速度加快了
  • 4、在网络复杂度相近的情况下,Inception-ResNet-v2略优于Inception-v4
  • 5、Residual Connections貌似只能加速网络收敛,真正提高网络精度的是“更大的网络规模

以上就是Inception v4论文的主要贡献了,没有什么创新,只是在前人的基础上修修补补、移花接木,但这篇文章工作量不小,需要花费大量时间训练作者提出的3种网络。

附上作者提出网络结构图,具体细节就不介绍了,因为没有任何原创性创新。以下是Inception v4的结构图:

Inception v4

以下是Inception-ResNet的结构图:

Inception-ResNet

总结


至此,GoogLeNet四篇相关论文就介绍完了,纵观GoogLeNet的发展历程,Szegedy为我们提供了许多可以借鉴的网络设计方法,比如Inception结构、非对称卷积、Batch Normalization、取消全连层……等等。就连Szegedy本人,也汲取了ResNet的精髓,合体两种网络设计出了Inception-ResNet。所以多读论文,多学习别人的idea,是非常重要的。

值得注意的是,Szegedy在Inception-v4论文中提出了这样一句话:

Although the residual version converges faster, the final accuracy seems to mainly depend on the model size.

或许是Szegedy玩儿了这么久GoogLeNet,终于参透了深度学习的精髓,即要想网络更牛逼,就得设计更复杂的网络,而网络能否做到更复杂的关键在于人类计算能力强弱。计算能力的提升是一个漫长的过程,任重道远。

想想生物进化几十亿年的历史,人工智能还差得远呢!

相关文章

  • GoogLeNet的心路历程(五)

    今年年初的时候,Szegedy写了GoogLeNet的第三篇续作,如下: [v4] Inception-v4, I...

  • GoogLeNet的心路历程(一)

    这一段时间撸了几篇论文,当我撸到GoogLeNet系列论文的时候,真是脑洞大开!GoogLeNet绝对可以称为已公...

  • GoogLeNet的心路历程(四)

    本文主要介绍GoogLeNet续作二,inception v3。说实话,Szegedy这哥们真的很厉害,同一个网络...

  • GoogLeNet的心路历程(二)

    本文介绍关于GoogLeNet第一篇正式论文,习惯称为inception v1,如下: [v1] Going De...

  • GoogLeNet的心路历程(三)

    本文介绍关于GoogLeNet的续作,习惯称为inception v2,如下: [v2] Batch Normal...

  • CNN变体网络之--GoogLeNet

    GoogLeNet的亮点 写成GoogLeNet,而不是GoogleNet,是为了向LeNet致敬。GoogLeN...

  • GoogLeNet Structure

    2014年的Imagenet不太寻常,GoogLeNet(我们这儿先来讨论GoogLeNet Incepetion...

  • 2018-04-21CNN经典模型

    详解CNN五大经典模型:Lenet,Alexnet,Googlenet,VGG,DRL 一、Lenet Deep ...

  • GoogLeNet

    GoogLeNet 前言 Inception V1(也称为GoogLeNet,命名致敬Google和LeNet),...

  • GoogLeNet

    方法 文章提出获得高质量模型最保险的做法就是增加模型的深度(层数)或者是其宽度(层核或者神经元数),但是这里一般设...

网友评论

    本文标题:GoogLeNet的心路历程(五)

    本文链接:https://www.haomeiwen.com/subject/yadrsttx.html