本文主要用于介绍谷歌实验室团队于2018年提出的一种轻型网络MobileNetV2。本笔记主要为方便初学者快速入门，以及自我回顾。
基本目录如下：
- 摘要
- 核心思想
- 总结
------------------第一菇 - 摘要------------------
1.1 论文摘要
在本论文中，我们描述了一种新的网络架构MobileNetV2，该网络在多个视觉基础任务上相比于第一代MobileNets都取得了更好的效果。我们同时还针对目标检测任务，基于我们的MobileNetV2，改进出了一套新的架构，名为SSDLite。同时，对于实例分割任务，我们也在DeepLabv3的基础上进行了改进，提出了Mobile DeepLabv3。
整套MobileNetV2网络架构是基于翻转残差结构的（inverted residual structure），其中依然采用了轻型的深度卷积（depthwise convolutions）来实现滤波操作，同时我们将那些非线性的激活函数给移除了。这一操作带来了不少效果的提升，后文我们也会进行一定的阐述。
最后我们想说，我们的架构能很容易的被迁移应用于其他应用研究。当然，我们也在ImageNet分类，COCO目标检测，VOC图像分割上进行了实验，与其他模型也会进行仔细对比，包括时效性，参数量，准确性等～
------------------第二菇 - 核心思想------------------
不了解MobilesNet第一版的同学，可以先看其第一版的，我自己的个人链接笔记也在此献上。
2.1 Linear Bottlenecks
MobileNetsV1版本的想必大家都了解清楚了，但是第一版有一个很奇怪的问题，那就是深度卷积部分的卷积核比较容易训废掉，训废的意思就是发现训练出来的卷积核不少是空的，如下图所示【1】，
训废的卷积核.jpg
而训废的锅，作者认为是ReLU激活函数的锅。。。并且写了好长好长的理论来证明这件事情。。。（很多东西本菇也难以理解。。。只能看看各路大神的想法，这里总结一下）
直接看一张原论文中的图，
ReLU信息损失示意图.jpg
上面这张图想表达的意思其实很简单，就是对低维度做ReLU运算，信息丢失的很多（如上图，dim=2,3的时候，边界那里直接就没了 ），但是如果是对高维度做ReLU运算，信息的丢失就会相对减少了（比如上图，dim=30的时候，边界那里还保留了很多）
因此，这也就解释了卷积核很多是空的现象。因此，作者在第二代中就将ReLU替换成了线性的激活函数。
当然在真实运用时，并不是将所有的激活函数都替换成了线性了（。。。如果真是这样就要报警了🚔），其实只有把最后那个ReLU6给替换成了线性的，如下图所示～
Linear bottleneck示意图.jpg
2.2 Inverted residuals
这一块就比较好理解了，其实就是借鉴了残差模块的思想，引入了shortcut结构，但是，这里是inverted！是颠倒残参，那具体的区别是什么呢？
直接贴一张原论文中的图，方便讲解，
残差模块与倒残差模块比较示意图.jpg
首先我们来看一下残差模块，输入首先是经过卷积进行压缩，然后利用
的卷积进行特征提取，最后再用
的卷积将整个通道数变回去，整个过程就是“降维-卷积-升维”，这样的目的也很简单就是为了减少
模块的计算量，提供整个残差模块的计算效率。
接着我们再来看一下倒置残差模块，输入首先经过的卷积进行通道扩张，然后使用
的depthwise卷积，最后再用
的卷积将通道数压缩回去，整个过程就是“升维-卷积-降维”，因此整个是与标准的残差模块相反的操作。
这里盗一张网上的图【2】，感觉阐述的很清晰，
解释说明图.jpg
而之所以要升维的原因，是因为depthwise本身没有改变通道数的能力，而其在低维度上的表现又比较糟糕，因此，需要升维，从而提高准确率。
至此，本文的2个创新点已经阐述完毕，这里再贴一张V2的block示意图【1】，
V2的block示意图.jpg
当然，少不了要和V1进行对比，这里再盗一张图【2】，
V1和V2的对比示意图.jpg
至此，整个MobileNetV2感觉已经说清楚了，具体的网络架构和实验结果，本文就不多做阐述了，论文里都有而且易懂～
------------------第三菇 - 总结------------------
3.1 总结
到这里，整篇论文的核心思想已经说清楚了。本论文主要是在MobileNets的基础上又提出了一种轻型的网络架构MobileNetV2，并实验证明了该网络的可行性，为后续发展奠定了基础。
简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对整个MobileNetV2网络架构的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～😁
参考文献：
【1】https://zhuanlan.zhihu.com/p/70703846
【2】https://zhuanlan.zhihu.com/p/67872001
网友评论