上回讲到OpenVINO工具包配置TensorFlow模型的一般情况（OpenVINO工具包配置TensorFlow模型（一） - 简书）。实际操作下来，能用一般步骤顺利跑下来的概率实在是太低了。对工业模型来说，大多都会是多个模型的混合或是不同思想的掺杂，自定义层不可避免。
有自定义层的TensorFlow模型
自定义层泛指所有不被包含在已知层列表中的拓扑结构。对于TensorFlow框架，所有的已知层如下：
Using the Model Optimizer to Convert TensorFlow* Models | Intel® Software
对于TensorFlow的自定义模型，有三中处理方法：
1、将这些层注册为模型优化器的扩展，这样就能使用模型优化器生成正确的IR文件；
2、子图的处理方法，下面会有具体的介绍；
3、计算迁移（这个看的不是很懂，先放一放）。
在模型优化器中替换子图
因为种种原因有些模型不能转为IR文件，但是在一些情况下，给模型优化器一丁点提示之后就可以了（补丁大法好）。
这里的一些情况主要是指以下三种：
1、拓扑结构中的未知操作（或子图）可以改写为已知操作的组合。此时的提示就是给优化器一个如何组合的描述。
2、拓扑结构中的操作子图可以表示为推理引擎中的单个已知层。
3、TensorFlow中tensor shape的格式一般为NHWC，推理引擎用的是NCHW。上一篇里讲到了mo_tf.py文件默认是会转化的，但一些情况下转化不了（比如把tensor拉成了一维），这种情况下pb文件是转不成IR文件的。
子图替换
这种情况下，原始graph中的子图或者单个node用新的子图或node替换掉，分5步走：
1、确定需要替换的子图（看mo_tf.py转化的时候断的地方，哪里不会点哪里）
2、生成新子图
3、将新子图和原图接起来（为新子图创建输入输出）
4、创建新子图的输出到原图中
5、处理一下被替换的子图（比如删掉）
这个步骤看下来，等于没说～～～还好接下来有具体的方法：
使用一个操作子图替换一个操作
简单来说，就是在TensorFlow中有一些操作在推理引擎中无法一步到位，但可以通过基础操作的组合实现。官方举的一个例子是TensorFlow可以直接计算(a-b)^2，但推理引擎不可以步子跨这么大。因此将b先取反，然后a于-b相加，最后再平方。
这个过程用python代码实现以后，放到<INSTALL_DIR>/deployment_tools/model_optimizer/extensions/front/文件夹下，例子如下：
import networkx as nx #模型优化器图形的内部表示使用networkx模块
from mo.front.common.replacement import FrontReplacementOp #类FrontReplacementOp用来生成新子图替换操作
from mo.graph.graph import Node
from mo.ops.eltwise import Eltwise #推理引擎支持的基本操作
from mo.ops.power import Power
class SquaredDifference(FrontReplacementOp):
"""
Example class illustrating how to implement replacement of a single op in the front-end of the MO pipeline.
This class replaces a single op SquaredDifference by a sub-graph consisting of 3 lower-level ops.
"""
op = "SquaredDifference"
enabled = True
def replace_op(self, graph: nx.MultiDiGraph, node: Node):
negate = Power(graph, dict(scale=-1, name=node.name + '/negate_'))
add = Eltwise(graph, dict(operation='sum', name=node.name + '/add_'))
squared = Power(graph, dict(power=2, name=node.name + '/squared_'))
out_node = squared.create_node([add.create_node([node.in_node(0), negate.create_node([node.in_node(1)])])])
# Replace edge from out port 0 of the matched node with a edge from node out_node.id with port 0.
# The "explicit" version of the return value is: [(out_node.id, 0)])
return [out_node.id]
网友评论