MDL介绍
在移动端应用深度学习技术比较典型的就是 CNN（Convolutional Neural Network）技术，即常被人提起的卷积神经网络。mobile-deep-learning（MDL）是一个基于卷积神经网络实现的移动端框架。
移动端应用深度学习应用
- 分类：比较常见的如分辨出一张图片中的物体是什么
- 主体识别：识别出一张图片中的物体在哪、有多大
移动端应用深度学习难点
面对各种机型和硬件、手机的指标要求，如何使神经网络技术稳定高效运转是最大的考验，移动端与服务器端进行对比更容易呈现问题和难点。
| 服务端 | 移动端 | |
|---|---|---|
| 内存 | 弱限制 | 内存有限 |
| 耗电量 | 不限制 | 严格限制 |
| 依赖库体积 | 不限制 | 强限制 |
| 模型体积模型大小 | 常规模型体积200M起 | 不宜超过10M |
| 性能 | 服务器端强大 GPU BOX | 移动端 CPU 和 GPU |
MDL框架设计
可扩展性
对 layer 层进行了抽象，可以根据模型的需要，自定义实现特定类型的层，通过添加不同类型的层实现对更多网络模型的支持，而不需要改动其他位置的代码；
鲁棒性
MDL 通过反射机制，将 C++ 底层异常抛到应用层，应用层通过捕获异常对异常进行相应处理，如通过日志收集异常信息、保证软件可持续优化等；
兼容性
MDL 不支持模型训练能力。提供 Caffe 模型转 MDL 的工具脚本，可以通过一行命令完成模型的转换及量化过程，会陆续支持 PaddlePaddle、TensorFlow 等模型转 MDL，兼容更多种类的模型。
MDL总体架构
MDL 框架的总体架构设计图
MDL 框架主要包括模型转换模块（MDL Converter）、模型加载模块（Loader）、网络管理模块（Net）、矩阵运算模块（Gemmers）及供 Android 端调用的 JNI 接口层（JNI Interfaces）。
- Converter：主要负责将 Caffe 模型转为 MDL 模型，同时支持将 32bit 浮点型参数量化为 8bit 参数，从而极大地压缩模型体积；
- Loader：主要完成模型的反量化及加载校验、网络注册等过程，网络管理模块主要负责网络中各层 Layer 的初始化及管理工作；
- JNI Interfaces：可以通过调用 JNI 接口轻松完成加载及预测过程。
MDL使用
简单地使用和部署神经网络，如果使用基本功能则不需要进行过多配置和修改，只需要关注具体业务实现、如何使用即可。
支持手机平台交叉编译同时，也支持 Linux 和 Mac 的 x86 平台编译，在调整深度学习代码的同时可以直接在工作电脑上编译运行，而不需要部署到 arm 平台。
# mac or linux:
./build.sh mac
cd build/release/x86/build
./mdlTest
MDL性能及兼容性
- 体积 armv7 300k+
- 速度 iOS GPU mobilenet 可以达到 40ms、squeezenet 可以达到 30ms
MDL 从立项到开源，已经迭代了一年多。移动端比较关注的多个指标都表现良好，如体积、功耗、速度。百度内部产品线在应用前也进行过多次对比，和已开源的相关项目对比，MDL 能够在保证速度和能耗的同时支持多种深度学习模型，如 mobilenet、googlenet v1、squeezenet 等，且具有 iOS GPU 版本，squeezenet 一次运行最快可以达到 3-40ms。
同类框架对比
| Caffe2 | TensorFlown | cnn | MDL(CPU) | MDL(GPU) | |
|---|---|---|---|---|---|
| 硬件 | CPU | CPU | CPU | CPU | GPU |
| 速度 | 慢 | 慢 | 快 | 快 | 极快 |
| 体积 | 大 | 大 | 小 | 小 | 小 |
| 兼容 | Android&iOS | Android&iOS | Android&iOS | Android&iOS | iOS |
兼容性
MDL 在 iOS 和 Android 平台均可以稳定运行，其中 iOS10 及以上平台有基于 GPU 运算的 API，性能表现非常出色，在 Android 平台则是纯 CPU 运行。高中低端机型运行状态和手机百度及其他 App 上的覆盖都有绝对优势。
MDL 同时也支持 Caffe 模型直接转换为 MDL 模型。
MDL特性
- 一键部署，脚本参数就可以切换 iOS 或者 Android
- 支持 Caffe 模型全自动转换为 MDL 模型
- 支持 GPU 运行
- 已经测试过可以稳定运行 MobileNet、GoogLeNet v1、squeezenet 模型
- 体积极小，无任何第三方依赖，纯手工打造
- 提供量化脚本，直接支持 32 位 float 转 8 位 uint，模型体积量化后在 4M 上下
- 与 ARM 相关算法团队线上线下多次沟通，针对 ARM 平台会持续优化
- NEON 使用涵盖了卷积、归一化、池化等运算过程
- loop unrolling 循环展开，为提升性能减少不必要的 CPU 消耗，全部展开判断操作
- 将大量繁重的计算任务前置到 overhead 过程
为了让 MDL 体积进一步缩小，MDL 并未使用 protobuf 做为模型配置存储，而是使用了** Json 格式**。目前 MDL 支持 Caffe 模型转换到 MDL 模型，未来会支持全部主流模型转换为 MDL 模型。
随着移动端设备运算性能的提升，GPU 在未来移动端运算领域将会承担非常重要的角色。
- iOS
目前 MDL 已经支持 iOS GPU 运行，iOS10 以上版本机型均可以使用，在 iOS10 以下可以使用 CPU 运算。 - Android
Android 平台目前的 GPU 运算能力与 CPU 相比整体偏弱.MDL 后面也将加入 GPU 的 Feature 实现，基于 OpenCL 的 Android 平台 GPU 运算会让高端机型的运算性能再提升一个台阶。
应用于HI
以上的一大堆优点，让人对MDL充满了期待，顺利（经过了各种配置，一点也不顺利）运行Demo
然而……
于是我屁颠屁颠的去了PaddlePaddle
新手入门，安装配置各种，追随着指引，来到了Docker
然后……
MDL框架的使用需要根据源码进行修改，需要自己搞模型进行训练等。
image.png
在GitHub上所提供的Demo中，只对物体的识别进行了简单的处理，也就是把物体圈出来。
public class MDL {
/**
* load model descrition
*
* @param modelPath
* @param weightsPath
* @return
*/
public static native boolean load(String modelPath, String weightsPath) throws MDLException;
public static native void setThreadNum(int num) throws MDLException;
/**
* object detection
*
* @param buf
* @return
*/
public static native float[] predictImage(float[] buf) throws MDLException;
/**
* clear memory
* @throws MDLException
*/
public static native void clear() throws MDLException;
}
因此将MDL接入HI的难度较大，需要相应的JNI接口，二维码数据集进行识别训练。但是，最大的问题是，并不能看懂深度学习的相关内容……
网友评论