简介:
openVino 中文官网
github项目: OpenVINO-YOLOV4
github项目:Yolo v4, v3 and v2 for Windows and Linux
1.安装openVino推理引擎
下载地址:openVino 中文官网
https://docs.openvinotoolkit.org/cn/latest/index.html
注意:github项目:OpenVINO-YOLOV4这个项目要转换YOLO V4版本的权重文件的话,只能用openVino2021.3或者2021.4版本的,低于这个版本的openvino是转换不了的!!!(今天2021年4月9日,现在2021.3 2021.4版本都有)
后面直接一路安装即可。
2. 下载OpenVINO-YOLOV4项目代码
项目直接克隆到本地即可3.下载yolov4.weights
在这里插入图片描述4.转换
4.1 yolov4.weights文件放到OpenVino-YOLOV4项目下
模型转换4.2 yolov4.weights文件格式转为.pb格式
打开命令行,进入到OpenVino-YOLOV4项目目录下,输入以下命令装换yolov4.weights为.pb文件
python convert_weights_pb.py --class_names cfg/coco.names --weights_file yolov4.weights --data_format NHWC
在这里插入图片描述
在这里插入图片描述
4.3 .pb格式文件转换为供OpenVINO使用的.bin .xml文件
-
启动OpenVino 临时环境
在命令行进入openvino_2021\bin\setupvars.bat所在目录,输入setupvars.bat启动OpenVino临时环境。例如,我的安装路径是:G:\openVINO\install\openvino_2021\bin,则按下面操作
安装路径
启动临时环境 - 把.pb格式的文件转为.bin和.xml文件
回到OpenVino-YOLOV4路径下(因为刚刚转换的frozen_darknet_yolov4_model.pb文件在此目录下),输入
python "G:\openVINO\install\openvino_2021.3.394\deployment_tools\model_optimizer\mo.py" --input_model frozen_darknet_yolov4_model.pb --transformations_config yolov4.json --batch 1 --reverse_input_channels
"G:\openVINO\install\openvino_2021.3.394\deployment_tools\model_optimizer\mo.py"是mo.py文件的路径(如果你的OpenVino安装在其他盘或者是其他版本的,把前面的G:\openVINO\install\openvino_2021.3.394换为对应的就可以了)
转换
转换成功后将会有两个文件生成如下
在这里插入图片描述
-
注:我这里使用的环境是tensorflow1.15.5和numpy1.18.5,numpy的版本是1.20的话会报错
在这里插入图片描述把numpy降低为1.19或1.18就不会有这个问题了
在这里插入图片描述
5. 在OpenVino的推理引擎中的使用
在OpenVino-YOLOV4项目的pythondemo\2021.3目录下有个object_detection_demo_yolov3_async.py文件,这是一个demo文件可以调用刚刚转换的.bin 和 .xml文件给OpenVINO推理引擎用。
demo文件
命令行下输入
python pythondemo\2021.3\object_detection_demo_yolov3_async.py -i G:\\a.avi -m frozen_darknet_yolov4_model.xml -d CPU
- -i input 输入的图片视频路径(我自己测试时只能检测视频)
- -d device ,可选CPU 或GPU
- -m model ,模型文件.xml
6. 测试
测试视频
链接: https://pan.baidu.com/s/1i7Edyn2VeLI3FADidWC0AA 提取码: n2he
测试条件:
- Windows 10
- cpu i5-10400 @2.9GHz
- cuda 10.1 + nvidia Quadro M4000
- Intel Graphics 630
原模型的测试
-
原模型在cpu上的运行测试,fps 在0.3左右,cpu已经100%跑满
在这里插入图片描述 -
原模型yolov4.weights在Quadro M4000 + cuda10.1上的性能,fps在2.5左右,但是GPU的利用率才有20%左右
在这里插入图片描述
openvino转换后的模型实际测试
-
在CPU上运行,fps 3.2左右
在这里插入图片描述 -
在intel GPU上运行 fps3.0左右
在这里插入图片描述
总结:
从上面的结果看使用openvino加速的效果还是非常明显的,原模型在cpu上运行速度才有0.25fps,但是经过openvino优化后在cpu上运行速度可以到3.0fps左右的速度,快乐近12倍。经过优化后在intel CPU上运行的速度和在intel GPU上运行的速度基本没有差别,可能是GPU本身性能不怎么样,也可能是intel的GPU对深度学习类的计算加速效果没有那么好。
网友评论