Abstract

针对移动端和嵌入式视觉应用问题，本文提出一类名为MobileNets的高效模型。它的基本单元是轻量化深度网络的深度可分离的卷积操作组成的流线型网络结构。引入了两个能够平衡延迟和精度的超参数。这些超参数允许模型构建者根据问题的约束为其应用程序选择适当大小的模型。我们在资源和精度权衡方面进行了大量的实验。与其他流行的ImageNet分类模型相比，我们的模型显示了较强的性能。我们在许多诸如目标检测、细粒度分类、人脸检索和大范围的地理定位任务上证明了MobileNets的高效性。

1 Introduction

自从AlexNet通过赢得了2012年ImageNet挑战赛ILSVRC冠军的方式推广了深度学习以来，卷积神经网络变得无处不在。为了获得提升模型的分类正确率，业界广泛的做法是让模型变得更深和更复杂。但是，这些提升模型正确率的先进做法并不一定会使网络在规模和速度方面变得更加高效。在很多现实生活中的应用，例如机器人、自动驾驶和虚拟现实，识别任务需要在计算资源有限的平台上及时实现。本文描述了一个高效的网络架构和一组包含两个超参数的集合，以便构建非常小而且低延迟的模型，这些模型可以很容易地匹配移动和嵌入式视觉应用程序的设计需求。

2 Prior Work

在最近的研究中，研究者对建立小而高效模型越来越感兴趣。许多不同的方法通常可以分为压缩预训练模型和直接训练小模型。MobileNet主要关注于优化延迟但也产生小型网络模型。

Small Network

1）Flattened network：展示完全分解的网络和完全分解网络的潜能。
2）Factorized network：引入了一种类似于网络卷积分解和拓扑结构的连接。
3）Xception Network：如何拓展深度可分离卷积核以便超过Inception V3的性能。
4）SqueezeNet：使用bottleneck的方法设计了一个小型网络。
5）Structured transform network、deep fried convnets。

Compressing Pretrained networks

1）product quantization
2）hashing
3）pruning、vector quantization and Huffman coding
4）distillation which uses a larger network to teach a smaller network
5）low bit networks

3 MobileNet Architecture

MobileNet核心是深度可分离卷积（depthwise separable convolution）。深度可分离卷积将标准卷积操作分解为深度卷积和逐点卷积。这样的分解可以大幅度降低参数量和计算量。

3.1 Depthwise Separable Convolution

image.png

输入的特征图尺寸为（ $D_F$ , $D_F$ , $M$ ），采用的标准卷积 $K$ 为（ $D_K$ , $D_K$ , $M$ , $N$ )（如上图（a）所示），输出特征映射尺寸为（ $D_G$ , $D_G$ , $N$ ）。
标准卷积的卷积计算公式为：

image.png
对应的计算量为：

image.png
MobileNet利用深度可分离卷积操作将标准卷积拆分为深度卷积和逐点卷积：

深度卷积负责滤波作用，尺寸为（ $D_K$ , $D_K$ , 1, $M$ ）如图（b）所示。输出特征为（）
逐点卷积负责转换通道（combining features）。尺寸为（ $1$ , $1$ , $M$ , $N$ ）。
深度卷积的卷积公式为：
image.png
深度卷积的计算量为：
image.png
深度可分离卷积的计算量为
image.png
计算量减少为：
image.png

3.2 Network Structure and Training

标准卷积和MobileNet中使用的深度可分离卷积的结构对比如下：

image.png

注意：MobileNet需要下采样时，则在上一层的深度卷积取步长为2。

MobileNet具体的结构如下：

image.png

除了最后一层FC层没有非线性激活函数外，其他层都有BN和RELU非线性函数。

MobileNet几乎将所有的密集运算放在了 $1\times1$ 卷积上，这可以使用general matrix multiply（GEMM）functions优化。在MobileNet中有95%的时间花在了 $1\times1$ 卷积上，这部分也占了75%的参数。图下表所示：

image.png
剩下的参数几乎都在FC层上了。
在tensorflow中使用RMSprop对MobileNet做训练，使用类似于Inception V3的异步梯度下降。与训练大型网络模型不同的是，使用了较少的正则化和数据增强技术，因为较小的模型不容易过拟合。没有使用side heads和label smoothing，我们发现在深度卷积核上使用较少的L2正则化或者不设置权重衰减很重要，因为这部分的参数很少。