tensorflow c++ 加载模型

   tensorflow的官网上提供很详细的python教程，也确实很好用。但是，python始终是一个开发工具，应用软件产品，大多用c/c++写的。所以，我打算用python训练tensorflow模型，然后用c++调用tensorflow模型。本人通过收集资料，总结了方法。本文主要讲解一下内容：

• tensorflow c++加载训练好的模型。

注：均在ubuntu上实现

1.使用python训练模型，并保存模型。

a.训练模型，保存模型

利用tf.train.Saver()进行保存模型。

sess = tf.InteractiveSession() ##session
saver = tf.train.Saver()　　###需要添加的代码，在初始化变量前。
sess.run(tf.initialize_all_variables())
#your code
#....训练过程....
#your code
saver.save(sess, "model/model.ckpt") ###保存模型在model目录下

model目录下生成的文件：

• checkpoint
• model.ckpt.data-00000-of-00001
• model.ckpt.index
• model.ckpt.meta

b.模型整合

调用tensorflow自带的 freeze_graph.py 小工具， 输入为格式.pb或.pbtxt的protobuf文件和.ckpt的参数文件，输出为一个新的同时包含图定义和参数的.pb文件；这个步骤的作用是把checkpoint .ckpt文件中的参数转化为常量const operator后和之前的tensor定义绑定在一起。

python freeze_graph.py --input_checkpoint=../ckpt/model.ckpt -- \
output_graph=../model/model_frozen.pb --output_node_names=output_node  

得到model_frozen.pb最终模型

2.使用c++加载模型。

a.头文件包含

#include "tensorflow/core/public/session.h"
#include "tensorflow/core/platform/env.h"

using namespace tensorflow;

b.tensorflow模型初始化

//加载tensorflow模型
Session *session;
cout << "start initalize session" << "\n";
Status status = NewSession(SessionOptions(), &session);
if (!status.ok()) {
     cout << status.ToString() << "\n";
     return 1;
  }
GraphDef graph_def;
status = ReadBinaryProto(Env::Default(),MNIST_MODEL_PATH, &graph_def);
//MNIST_MODEL_PATH为模型的路径，即model_frozen.pb的路径
if (!status.ok()) {
     cout << status.ToString() << "\n";
     return 1;
  }
status = session->Create(graph_def);
if (!status.ok()) {
     cout << status.ToString() << "\n";
     return 1;
 }
cout << "tensorflow加载成功" << "\n";

c.模型预测

Tensor x(DT_FLOAT, TensorShape({1, 784}));//定义输入张量，包括数据类型和大小。
std::vector<float> mydata;　　　　　　　　//输入数据，784维向量
auto dst = x.flat<float>().data();　　　　　
copy_n(mydata.begin(), 784, dst);      //复制mydata到dst
vector<pair<string, Tensor>> inputs = {
    { "input", x}
};                                     //定义模型输入
vector<Tensor> outputs;                //定义模型输出
Status status = session->Run(inputs, {"softmax"}, {}, &outputs);　　//调用模型,
//输出节点名为softmax,结果保存在output中。
if (!status.ok()) {
    cout << status.ToString() << "\n";
    return 1;
}
//get the final label by max probablity
Tensor t = outputs[0];                   // Fetch the first tensor
int ndim = t.shape().dims();             // Get the dimension of the tensor
auto tmap = t.tensor<float, 2>();       
 // Tensor Shape: [batch_size, target_class_num]
 // int output_dim = t.shape().dim_size(1); 
 // Get the target_class_num from 1st dimension
//将结果保存在softmax数组中（该模型是多输出模型）
double softmax[9];  
for (int j = 1; j < 10; j++) {
    softmax[j-1]=tmap(0, j);
}

参考资料：

• Tensorflow C++ 编译和调用图模型 :即讲了安装tensorflow c++过程，又讲了使用过程。
• Tensorflow CPP API demo ：第一个参考资料的源码，很详细。
• Training a TensorFlow graph in C++ API ：一个使用tensorflow c++案例。
• Loading a TensorFlow graph with the C++ API :一个非常好的加载tensorflow模型教程，常被引用。