如何保存和使用训练好的模型参数

引言

最近在学习Tensorflow 构建CNN，训练需要耗费时间，把训练好的各个参数保存下来是最简便的，网上有很多教程，但是跟着教程走不一定一帆风顺还是踩了一些坑，然后自己填了一下坑

如何保存好训练的结果：

假设会话为sess，计算图为graph
网上看了很多资料，使用

saver=tf.train.Saver()  # 不传入参数代表默认存入全部参数
file_name = 'saved_model/model.ckpt'  # 将保存到当前目录下的的saved_model文件夹下model.ckpt文件
saver.saver(sess,file_name )  # 保存好的模型文件

这样来保存模型，这样就行了吗？还不行
但是按照这个方式，开始IDE总是会报错：No Variable to save

---

然后我的想法是：可能要把sess传给saver是吗？下面是我的代码，和一次尝试性的修改

graph = tf.Graph()  # 计算图
with graph.as_default():
    # 定义计算图
    ...
    # 以上是一些权重和卷积层的定义，这里就不贴出来了
sess = tf.Session(graph=graph)  # 把上一步定义的计算图载入到会话中
# 给定义saver一个sess作为输入，结果也是不行的
saver=tf.train.Saver(sess)  # 不传入参数代表默认存入全部参数
saver.saver(sess,'saved_model/model.ckpt')

这样还是会报错：没有可以被用来保存的变量。我思来想去，可能要载入graph?

graph = tf.Graph()
with graph.as_default():
    # 定义计算图
    ... 
    # ---
sess = tf.Session(graph=graph)  # 把上一步定义的计算图载入到会话中
# 这次把graph传进来做参数
saver = tf.train.Saver(graph)
saver.saver(sess,'saved_model/model.ckpt')

结果还是不行

---

多次尝试之后，终于修改正确了

graph = tf.Graph()
with graph.as_default():
    # 定义计算图
    ... 
    # ---
    saver = tf.train.Saver()  # 默认存储上面全部定义参数，如果不想全部存下来，也可以输入你想要保存的参数

sess = tf.Session(graph=graph)  # 把上一步定义的计算图载入到会话中
# 保存，这次就可以成功了
saver.saver(sess,'saved_model/model.ckpt')

保存成功，文件夹saved_model下会出现几个文件
checkpoint文件（这个文件很重要，记录了） 还有几个文件，它们的后缀分别是 .data , .index , .meta 。我们似乎可以不搭理这三个文件

---

先小结一下

如果定义了子图，或者说自己定义graph而不使用tensorflow的默认计算图的时候，定义要在定义graph最后进行定义，想保存哪个子图的变量，就要在哪个子图定义相关的Saver，这样才能实现想要的效果。
Tensorflow的图graph和会话session还是有点抽象的，一不小心就整乱了。

---

Notes: 假设没有使用with graph.as_graph():这种结构，直接在脚本上定义了tensorflow的变量，再使用saver()应该是没有问题的。

---

读取和使用保存好的模型参数

那存好了之后，该怎么调用了
假设我需要在另一个新的脚本，例如 ：test.py文件上使用我的代码做测试，要怎么使用保存好的模型参数呢

有两种方式：

---

先把之前训练，构建计算图已经你定义网络参数的那些代码粘贴到test.py文件下

graph = tf.Graph()
with graph.as_default():
    # 定义计算图
    ... 
    # ---
    saver = tf.train.Saver()

特别注意，运行到上一步的时候

然后再使用如下代码

with tf.Session(graph=graph) as sess:
        check_point_path = 'saved_model/' # 保存好模型的文件路径
        ckpt = tf.train.get_checkpoint_state(checkpoint_dir=check_point_path)

# 从模型中恢复参数      saver.restore(sess,ckpt.model_checkpoint_path)  # 讀取成功，然后就可以使用模型参数进行预测，或者测试了。

---

如果你觉得上面那个方式有点繁琐，可以直接import train.py
假设train.py这个脚本的代码是这样的：

graph = tf.Graph()
with graph.as_default():
    # 定义计算图
    ... 
    # ---
    saver = tf.train.Saver()

那么你在你的test.py中可以这样写

import train
# 参考python的命名空间方法
graph = train.graph
sess = train.sess

with tf.Session(graph=graph) as sess:
        check_point_path = 'saved_model/' # 保存好模型的文件路径
        ckpt = tf.train.get_checkpoint_state(checkpoint_dir=check_point_path)

# 从模型中恢复参数      saver.restore(sess,ckpt.model_checkpoint_path)  

---

Notes: 在使用saver.restore(sess,ckpt.model_checkpoint_path) 后，这个时候，就不需要再次使用sess.run(init) 对参数进行初始化了（否则会覆盖掉训练好的参数），如果你在前面使用run，进行初始化，权重会根据你的定义进行初始化，但是你使用这个语句后，模型中的参数会把它覆盖掉

---

最后再说一下

好像高级的使用方法，可以根据选择不同迭代次数更新时候的权重，这里只做简单总结一下，以后学习到了再更新吧