前言

最近论文刚刚写完，终于可以做一些自己喜欢的东西了，Happy。之前学过一段时间Android, 感觉移动端App开发和PC上的软件，比如Qt, 存在很大的不同，App开发更好玩一些，而且实用价值也比较大。

Yolov3是一个非常棒的深度学习目标检测算法，如果Yolov3与Android相遇，那yolov3就可以发挥更大的价值，而不仅仅停留在实验室， 在此基础上可以开发出许多有趣的App:

• 比如采用Yolov3识别游戏中的角色,游戏辅助
• 行人检测识别
• 食物检测识别
  ......

本文主要内容：基于NCNN库实现Android端Yolov3深度学习目标检测

说明一点，本文不是直接将darknet yolov3移植到android上，考虑到性能采用ncnn库

• NCNN库编译
• Android工程搭建
• Android端 opencv配置
• JNI Java C++参数传递

---

开发环境

• Ubuntu 18.04
• Android Studio 3.2, with android ndk r16b
• ncnn

---

App效果图

1.png

App主页面， 需要动态申请权限

2.png

App主页面， 一个大大的darknet logo，背景纯黑色，是不是很酷

3.png

第二个界面， 选择图像， 目标检测经典图片

4.png 5.png 6.png

这里可以设置多线程，线程数量

7.png

这是检测结果， 检测识别到汽车Car

8.png

每一项可以点击进去，查看详情

9.png

绘制的检测结果

---

Android端Yolov3实现

NCNN库编译

NCNN库是腾讯优图的一个开源深度神经网络计算库，专为移动平台加速。
https://github.com/Tencent/ncnn

开源工程已经编译好了Android平台的静态库，可以直接用。但是考虑到实际开发编译环境的不同，因此最好自己编译一次。

image.png

编译的详细步骤：

image.png image.png
image.png

具体步骤见官网，这里我就说一下踩过的坑：

• Android NDK版本

ndk版本不要太新的，容易出BUG!!!

在安装Android SDK时候，ndk默认安装在sdk/ndk-bundle目录， 具体的版本号在Android studio SDK Manager/SDK Tools中可以查看。

android sdk目录 android ndk目录

除了使用Android SDK自带的ndk之外，还可以手动下载Android ndk, 解压在一个目录。

image.png
image.png

在Ubuntu上只要配置好Android ndk就可以编译好nccn库，如图：

image.png image.png image.png

目前Android手机普遍支持64bit, 所以一般编译出两个版本的lib

版本	平台
armeabi-v7a	ARM 32bit库
arm64-v8a	ARM 64bit库

---

opencv的导入

需要下载oepncv for android sdk

image.png
image.png image.png

在opencv sdk目录中包含 java以及native

类型	作用
java	opencv java类，接口
native	C++ 链接库

image.png

opencv中包含诸多编译好的链接库：

类型	描述
arm64-v8a	ARM 64bit
armeabi	ARM 早期的二进制接口ABI
armeabi-v7a	ARM 32bit
mips	others
x86	Intel x86 cpu架构
x86_x64	Intel x86 64bit CPU

一般的Android手机，大多数使用这两足以：

• armeabi-v7a
• arm64-v8a

动态链接库

image.png

本工程中，在Java层以及C++层同时导入opencv库

• Java层： 导入opencv-android-sdk/sdk/java 模块
• C++层： 在CMakeList.txt中引入

Java层引入opencv

File->New->Import Module

image.png image.png
image.png

导入之后，修改sdk版本，与 Module:app的版本保持一致。然后在Project Structure中导入Module

image.png
image.png
image.png
image.png
image.png

C++层导入opencv

通过配置CMakeList.txt即可

image.png image.png
image.png

最后，将so复制到android工程：

image.png
image.png image.png

---

Android工程搭建

进行android开发采用的工具Android Studio, AS比较卡，吃内存， 编译时间巨慢。Ubuntu系统还好些，比windows快很多。

image.png

因为NCNN库是C++实现的，因此在创建Android工程时候务必选择 include C++, C++版本一般选C++14, C++11即可。这是已经完工之后的Android工程。
工程包含3个Module:

• app
• openCVLibrary343
• yolov3

其中app是创建工程自带的，一些启动界面包含于此;openCVLibrary343是在opencv官网下载的， opencv for android sdk, 里面包含大量Java opencv 类实现，以及编译好的动态链接库 opencv_java3.so; yolov3模块是自己新建的，包含yolo目标检测算法的实现以及Java接口的封装， 创建一个yolo模块的目的是可以往不同工程中直接导入，方便移植。

image.png

模块的导入

image.png

---

NCNN库引入

引入ncnn库的目的是加载yolov3网络，网络模型，进行forword计算。

ncnn库的导入比较简单：

• 将include复制到cpp目录
• 将libncnn.a复制到armeabi-v7a, arm64-v8a
• 在CMakeList.txt中引入

image.png image.png image.png image.png image.png

此CMakeList.txt文件根据配置将生成libyolo.so动态链接库。

---

此篇主要是工程配置，后续再写代码实现...