MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices
背景介绍
偏工程性论文,分析了现有轻量级网络应用于人脸识别的不足,并使用Global Depthwise Convolution改进。
论文要点
- Global Depthwise Convolution
- 人脸识别最后需生成特征向量,一般由全连接或平均池化生成。
- 全连接全产生大量的参数,会导致模型增大,不便于嵌入端的部署。
- 平均池化没有考虑位置信息,所有位置的特征都一样。
- 基于人脸的直观感受,最后一层特征图每个像素对应人脸区域其重要性有所差异,因而使用加权平均更合理,使用Global Depthwise Convolution可以实现加权的效果。
[图片上传失败...(image-b946b-1543585944328)]
- 网络结构
- 采用类似MobileNetV2的网络结构
- residual bottlenecks (MobileNetV2)
- expansion factors for bottlenecks are much smaller than MobileNetV2
- 使用PReLU激活层
- fast downsampling
在Global Depthwise Conv层后添加1x1的线性变换层
MobileFaceNet-2
结果分析
- 删除GDConv后线性变换层后,准确率有所下降,但部署时间没有减少,因而实际应用可以保留线性变换层。
- 将PReLU换成ReLU后,其实际的部署时间少1ms,准确率有所下降,在推理框架支持PReLU的情况下,可以考虑优先使用PReLU。
- expansion factor 变大后,准确率没用提升反而下降,说明在此网络结构下,并不是filter越多,效果越好。
-
MobileNetV2使用GDConv相比于不使用GDConv准确率提升明显,说明GDConv有作用,是不是GDConv对所有具有Global Average Pooling的网络结构都作用呢?
MobileFaceNet-3
问题思考
- 训练方法
- 为什么要将GDConv后卷积层的weight decay设置得比之前的小?
- 以MobileNetV1/MobileNetV2/ShuffleNet作对比实验时,为什么要从头训练,而不使用imagenet的预训练模型,是为了保证所有模型从头训练的同一条件。
- 文中提MobileNetV1如果第一层卷积层stride=2时,其准确率较差,但并没有分析原因,个人觉得如果第一层卷积层stride=2,会导致中间主要提取特征的分辨率较小,不利于提取更丰富的特征,设计轻量级网络时,既要使用fast downsampling的策略,也要保证中间层时的分辨率不宜过小。
- 测试结果
- 没有对比MobileFaceNet使用GDConv和不使用GDConv的差异,因而无法评估整体准确率的提升是由于前面的网络结构设计,还是最后使用了GDConv带来的准确率提升。
- Global Depthwise Convolution
- 其想法与Face R-FCN提到position-sensitive average pooling是一致的
网友评论