为了将使用PyTorch训练的深度学习模型，集成进C++桌面端应用中，选择采用ONNX将模型转化为其他有C++接口的框架中。此前试验了Caffe2和CNTK：Caffe2在Python内实现了模型的完美迁移，但是在调用Caffe2的C++接口时出现无法解决的错误；CNTK则在Python内就无法完成模型的对接。

因此，今天试试采用Tensorflow完成这一过程。

Python下Tensorflow调用ONNX模型

参考onnx/tutorials/OnnxTensorflowImport.ipynb安装了必须的onnx-tf包，并创建了对应的模型载入和构建代码，如下所示。

import onnx
from onnx_tf.backend import prepare
model = onnx.load(model_path)
tf_rep = prepare(model)

程序在tf_rep = prepare(model)处出现警告如下。

Using the pooling op in compatibility mode.This means your graph cannot be serialized.Please configure your pooling operation to only use paddings that correspond to Tensorflow SAME or VALID padding.

在onnx/onnx-tensorflow#167处找到了该问题与类似问题的详细描述，可知该问题主要是由于PyTorch实现的ResNet模型中pooling层的padding设置和Tensorflow中的padding模式不符合。下面引用了在tensorflow/benchmarks#134列出的各框架对于ResNet内的第一个max-pooling层的padding实现。

Pytorch: Left 1, right 1. In this case this is equivalent to Left 1, right 0.
Caffe: Left 0, right 1.
TensorFlow SAME: Left 0, right 1.

网友tjingrant在这个问题上发布了onnx/onnx-tensorflow/pull#212给出了prepare函数的一个non-strict mode使得tensorflow能够接受与自身的SAME或VALID模式不同的padding模式并转化为对应模式。但这种方法等于修改了模型，也许会造成模型精度的明显下降。这个修改已经被merge到master branch了，所以我们直接安装master version的onnx-tf。
pip uninstall onnx-tf
pip install git+https://github.com/onnx/onnx-tensorflow/tree/master

将ONNX模型转为Tensorflow Graph

将ONNX模型转为Tensorflow Graph非常简单，只要通过onnx-tf中的onnx_tf.backend_rep.TensorFlowRep.export_graph接口就可以将onnx格式的模型转化为TensorFlow中的Graph proto。加载该模型则采用如下代码（来源：TensorFlow保存模型为PB文件）。

from tensorflow.python.platform import gfile

sess = tf.Session()
with gfile.FastGFile(pb_file_path+'model.pb', 'rb') as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())
    sess.graph.as_default()
    tf.import_graph_def(graph_def, name='') 

sess.run(tf.global_variables_initializer())

print(sess.run('b:0'))

input_x = sess.graph.get_tensor_by_name('x:0')
input_y = sess.graph.get_tensor_by_name('y:0')

op = sess.graph.get_tensor_by_name('op_to_store:0')

ret = sess.run(op,  feed_dict={input_x: 5, input_y: 5})
print(ret)

这里需要注意的是，需要去了解到自己导入的模型文件中的输入输出节点的名字。这里本人在sess.run(tf.global_variables_initializer())前后通过tf.summary.FileWriter('logs', sess.graph)记录，并通过tensorboard可视化了所读取的Tensorflow Graph。