简介
在桌面PC或是服务器上使用TensorFlow训练出来的模型文件，不能直接用在TFLite上运行，需要使用离线工具先转成.tflite文件。笔者发现官方文档中很多细节介绍的都不太明确，在使用过程中需要不断尝试。我把自己的尝试过的步骤分享出来，希望能帮助大家节省时间。
具体说来，tflite文件的生成大致分为3步：
1. 在算法训练的脚本中保存图模型文件（GraphDef）和变量文件（CheckPoint）。
2. 利用freeze_graph工具生成frozen的graphdef文件。
3. 利用toco工具，生成最终的tflite文件。
图1. 生成tflite文件的整个流程示意图
第1步：导出图模型文件和变量文件
在你的算法的训练或推理任务的脚本中，利用tensorflow.train中的write_graph和saver API来导出GraphDef及Checkpoint文件。
图2. TensorFlow中导出GraphDef文件和Checkpoint文件
其中，tf.train.write_graph一行将导出模型的GraphDef文件，实际上保存了训练的神经网络的结构图信息。存储格式为protobuffer，所以文件名后缀为pb。
图3. 导出的GraphDef文件
tf.train.saver.save一行导出的是模型的变量文件，实际上保存了整个图中所有变量目前的取值。
图4. 导出的checkpoint文件
如图4所示，实际上产生了4个文件。在后续步骤中需要用到的是nsfw_model.ckpt.data-00000-of-00001这个文件，保存了当前神经网络各参数的取值。
第2步：生成frozen的graphdef文件
在此步骤中，使用Tensorflow源代码中自带的freeze_graph工具，生成一个frozen的GraphDef文件。
bazel-bin/tensorflow/python/tools/freeze_graph --input_graph=/data/deep_learning/nsfw/model/nsfw-graph.pb --input_checkpoint=/data/deep_learning/nsfw/model/nsfw_model.ckpt --input_binary=true --output_graph=/data/deep_learning/nsfw/model/frozen_nsfw.pb --output_node_names=predictions
这里有两个地方容易搞错。第一个地方，input_checkpoint参数实际上用到的文件应该是nsfw_model.ckpt.data-00000-of-00001，但是在指定文件名的时候只需要指定nsfw_model.ckpt即可。第二个地方，是output_node_names参数，此处指定的是神经网络图中的输出节点的名字，是在训练阶段的Python脚本中定义的。如下图所示，在定义网络结构时，输出节点的名称为"predictions"。则最终output_node_names需要指定为“predictions”。
图5. output_node_names参数取值与网络模型定义时的名字要对应
当然，也可以利用summarize_graph打印出模型的输入和输出节点，如：
bazel-bin/tensorflow/tools/graph_transforms/summarize_graph --in_graph=/data/deep_learning/nsfw/model/frozen_nsfw.pb
图6. 输入节点名称为input
图7. 输出节点名称为predictions
第3步：生成最终的tflite文件
在此步骤中，使用Tensorflow源代码中自带的toco工具，生成一个可供TensorFlow Lite框架使用tflite文件。其中input_arrays和output_arrays的名称需要与定义网络类型时取的名称保持一致。
bazel run --config=opt tensorflow/contrib/lite/toco:toco --input_file=/data/deep_learning/nsfw/model/frozen_nsfw.pb --input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE --output_file=/data/deep_learning/nsfw/model/nsfw.lite --inference_type=FLOAT --input_type=FLOAT --input_arrays=input --output_arrays=predictions --input_shapes=1,224,224,3
生成的nsfw.lite文件即可用于TensorFlow Lite应用。
网友评论
bazel-bin/tensorflow/contrib/lite/toco/toco
--input_file=/tmp/frozen_graph.pb
--input_format=TENSORFLOW_GRAPHDEF
--output_format=TFLITE
--output_file=/tmp/mobilenet_v1_224.tflite
--inference_type=FLOAT
--input_arrays=input
--output_arrays=MobilenetV1/Predictions/Reshape_1
--output_arrays=MobilenetV1/Logists
--input_shares=1,224,224,3
这样的命令在android 上报错，说是模型输出只有一个。我想会不会是最后一个输出output_arrays覆盖了第一个输出output_arrays。如果是这种情况应该怎么解决，谢谢
Caused by: java.lang.IllegalArgumentException: Shape of output target [1, 49] does not match with the shape of the Tensor [1, 1001].
at org.tensorflow.lite.Tensor.copyTo(Tensor.java:44)
at org.tensorflow.lite.Interpreter.runForMultipleInputsOutputs(Interpreter.java:139)
at org.tensorflow.lite.Interpreter.run(Interpreter.java:107)
at com.android.gallery3d.tensorflow.lite.ImageClassifierQuantizedMobileNet.runInference(ImageClassifierQuantizedMobileNet.java:95)
at com.android.gallery3d.tensorflow.lite.ImageClassifier.classifyFrame(ImageClassifier.java:128)
原来的tflite模型能识别1001种,而自己训练的49种类别,这样会报错? 1001不知是在代码哪里设下去的,还是跟模型有关系?
大佬我在转换模型的时候遇到了这个问题，忽略之后在android端也遇到这个问题，想请教一下该如何解决？
ERROR: Error evaluating WORKSPACE file
ERROR: Skipping 'tensorflow/contrib/lite/toco:toco': error loading package 'external': Package 'external' contains errors
WARNING: Target pattern parsing failed.
ERROR: error loading package 'external': Package 'external' contains errors
INFO: Elapsed time: 0.427s
FAILED: Build did NOT complete successfully (0 packages loaded)
请问这是什么问题，拜托了!
我使用bazel build时，执行失败了。目前显示的错误是This package requires Visual Stuido 2015 Update 2 or higher。
我想请问一下，这个执行bazel build的过程中，是否用到Visual Studio，还是说我的错误是在其他的地方。多谢了
ERROR: /Users/xiaoqiang/6TensorFlowlite/tensorflow-master/tensorflow/contrib/lite/BUILD:193:12: Label '//tensorflow/contrib/lite:downloads/absl/absl/types/optional.h' crosses boundary of subpackage 'tensorflow/contrib/lite/downloads/absl/absl/types' (perhaps you meant to put the colon here: '//tensorflow/contrib/lite/downloads/absl/absl/types:optional.h'?)
请问你遇到了吗？顺便问一下，你的bazel是什么版本