最近领导考虑到生产成本的问题,想要在CPU上运行神经网络,于是研究了一阵Intel推出的OpenVINO工具包。下面主要是介绍在Ubuntu16.04上使用OpenVINO配置TensorFlow模型。
OpenVINO深度学习部署工具套件
OpenVINO的深度学习部署工具套件主要包括两部分,一个是模型优化器,另外一个是推理引擎。模型优化器是由Python编写的,推理引擎是一套C++函数库以及C++的类。
工作原理是对训练产生的网络模型进行优化,优化结果转换成中间表示文件,得到IR文件(xml文件和bin文件)。xml文件中包含优化以后的网络拓扑结构,bin文件优化之后的模型参数和模型变量。
对于TensorFlow框架,对应的模型为pb文件。
环境准备工作
安装
首先,官网上有详细的安装步骤:Install the Intel® Distribution of OpenVINO™ toolkit for Linux*
但是,配置环境总是一件麻烦的事,鬼知道会缺失什么依赖包,到头来没装好不说,还可能影响已有的环境┑( ̄Д  ̄)┍。在即将入坑之际,我发现了现成的docker image,于是果断选择跳过官方指导。。。
sudo docker run -it cortexica/openvino /bin/bash
(使用sudo docker search openvino命令可找到很多相关的images,cortexica/openvino这个image的描述里提到了Ubuntu16.04,所以我选择了这一个)
配置模型优化器
运行容器,进入模型优化器 prerequisites文件夹(不同images中的路径可能有差异,但从deployment_tools这层目录开始应该都一样)
cd /opt/intel/computer_vision_sdk/deployment_tools/model_optimizer/install_prerequisites
运行脚本
sudo ./install_prerequisites.sh
运行demo验证安装成功
这一步我跳过了,具体操作可以参考Use the Demo Scripts to Verify Your Installation
转换TensorFlow模型
先来关注一下可以转的层:Supported TensorFlow Layers
PS:点名RandomUniform是Not supported。。。什么仇什么怨,不支持别写在表里好不好
其实转的过程很简单,就两小步:
1、进入model_optimizer文件夹
cd /opt/intel/computer_vision_sdk/deployment_tools/model_optimizer
2、使用mo_tf.py脚本将pb文件转为IR文件
python mo_tf.py --input_model <INPUT_MODEL>.pb --output_dir <OUTPUT PATH>
幻想是丰富的,现实是残酷的,如果真这么简单就能成功,那还记录个啥哦(*/ω╲*)
对于大部分模型来说,直接运行mo_tf.py得到的应该都是各种各样的ERROR,下面正文正式开始
使用转化参数
mo_tf.py文件除了--input_model和--output_dir这个两个参数以外,还有一大波:
mo_tf文件可输入参数下面介绍几个比较重要的
Mean and Scale Values
一般来说在训练时我们都会使用归一化的输入,比如从0~255归一化到0~1。还有在使用Image Net等公开数据集的时候,会进行一个去均值的操作。这些都属于简单的数据预处理,乍一看好像和网络没啥关系,但其实影响很大,重点在于预处理部分的代码有没有被写进TensorFlow的拓扑结构里。
如果预处理部分被写进拓扑结构里了,这种主要就是在训练网络时直接读取的原始数据,然后用tf里的函数进行预处理的情况。这种情况下得到的模型,在pb文件里会有预处理相关的node,这些node也会直接转化到xml文件中(前提是OpenVINO支持。。。我在预处理结中使用的tf.map_fn对多图进行处理就一直报错)。
另一种情况是拓扑结构里没有预处理部分,举例就是用numpy对原始数据进行了处理,然后作为tf网络的输入,输入到网络中。由于拓扑结构中没有预处理部分,虽然pb转IR的时候也可以成功,但之后推理的结果肯定是错的。这个时候就需要用到相关参数--scale、 --scale_values,、--mean_values。当mean value和scale value被同时指定时,数据先减去mean value,再除以scale value。
python mo_tf.py --input_model <model_name>.pb --scale_values [59,59,59] --mean_values [177,177,177]
至于怎么看拓扑结构里有没有预处理部分,restore pb文件打印出所有node是一种办法,再直观一点,使用Netron,把pb文件导进去可以直接可视化网络~
这一个参数其实并不影响模型转化的成功与否,只不过没注意的话,转化笑嘻嘻,推理mmp。
接下来的参数会直接影响转化的成败。
Input Shapes
在TensorFlow中, 输入的placeholderr的shape可以被设成None或者-1。这种设置在对输入任意尺寸图片和调整batch size时非常方便。但遗憾的是OpenVINO不接受这么随意的输入。。。
如果在pb文件中,输入没有明确的尺寸的话,需要加入--input_shape参数指定shape,比如[1,128,128,3]。对于batch size不定的情况,再调用mo_tf.py后面加上-b。这两个参数不能同时使用。
python mo_tf.py --input_model <model_name>.pb --input_shape [1,128,128, 3]
python mo_tf.py --input_model <model_name>.pb -b 1
Is_Training
神经网络的输入除了输入数据,一般还会有一个区分train和valid(test)状态的is_training,用来控制batch norm和dropout的状态。这里也有两种情况:
1、train和valid是两份代码,这种情况下,is_training在各自的代码里是True和False的定值,并不会再程序运行中切换,此时的pb文件应该固定的是valid代码中狗的graph,再pb转IR的过程中也无需多加参数;
2、在train的过程中同时进行valid,此时is_training是一个placeholder,会在train时传入True,再valid时传入False,在pb文件中也会存在这个node,此时就需要使用参数--freeze_placeholder_with_value,将is_training(node的名字以自己网络中的为准)的值定为False。
python mo_tf.py --input_model <model_name>.pb --freeze_placeholder_with_value “is_training->False"
Tensorflow模型特有的参数
--tensorflow_use_custom_operations_config
这个参数我没有用到,主要是使用TensorFlow Object Detection API中的模型时会用到,需要传入相应的json配置文件。网上很多在转SSD、Faster RCNN、YOLO等模型发生错误时,使用这个参数导入配置文件后都成功了。
--disable_nhwc_to_nchw
这个参数主要是转换输入维度的,NHWC和NCHW,默认会从NHWC转为NCHW。
实验结果
我自己转换了一个4分类模型,转好后的IR文件存在/opt/intel/computer_vision_sdk/deployment_tools/model_optimizer/model路径下
进入推理引擎文件夹
cd /opt/intel/computer_vision_sdk/deployment_tools/inference_engine/samples/build/intel64/Release
进行推理
./classification_sample -d CPU -i <TEST_IMAGE_PATH> -m <XML_PATH>
在i7-8700KCPU3.70GHz硬件条件下,分类50张图片,
直接使用CPU前传pb文件耗时903.15 ms,使用OpenVINO引推理引擎耗时176.72 ms
总结:加速效果还是明显的,但使用自己的模型转IR文件还是很复杂的,自定义层的转化还需要多多研究~
参考
Intel OpenVINO配置和使用 - James的博客 - CSDN博客
Using the Model Optimizer to Convert TensorFlow* Models | Intel® Software
网友评论