1安装grpc相关依赖：

sudo apt-get update && sudo apt-get install -y \
        build-essential \
        curl \
        libcurl3-dev \
        git \
        libfreetype6-dev \
        libpng12-dev \
        libzmq3-dev \
        pkg-config \
        python-dev \
        python-numpy \
        python-pip \
        software-properties-common \
        swig \
        zip \
        zlib1g-dev

2 安装grpc

pip install grpcio

3安装 tensorflow-serving-api

pip install tensorflow-serving-api

4 安装tensorflow-model-server

echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list

curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -

sudo apt-get update && sudo apt-get install tensorflow-model-server

5 安装docker

sudo apt-get install docker.io

由于docker官网被封，会报连接网络超时的错误，需要指定网站。

sudo vim /etc/docker/daemon.json

添加如下内容

{"registry-mirrors": ["http://74ecfe5d.m.daocloud.io"],
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

保存退出。

systemctl daemon-reload
systemctl restart docker

重启docker.
使用hello-world命令验证docker是否安装成功。

sudo docker run hello-world

出现如下图片说明配置成功。

hello-world

6 下载serving镜像

docker pull tensorflow/serving:latest-devel

由于上文已经配置网络位置，所以本步不会出现连接超时的错误。
使用命令查看安装好的镜像。

sudo docker images

docker images

tensorflow/serving为本步安装好的镜像。

7使用 serving镜像创建容器：

docker run -it -p 8500:8500 tensorflow/serving:latest-devel

如下图，说明已经进入docker.

docker root

8 模型导出

我们这里直接使用 https://github.com/opensourcesblog/tensorflow-mnist/tree/master/cps 下已经train好导出的checkpoint文件，使用下述脚本进行模型导出工作。脚本中的路径根据自己实际情况替换。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import tensorflow as tf

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
x = tf.placeholder("float", [None, 784], name="x")
y = tf.nn.softmax(tf.matmul(x, W) + b, name="y")
saver = tf.train.Saver()
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    ckpt = tf.train.get_checkpoint_state("./cps/")
    if ckpt and ckpt.model_checkpoint_path:
        print(ckpt.model_checkpoint_path)
        saver.restore(sess, ckpt.model_checkpoint_path)
    # summary = tf.summary.merge_all()
    # summary_writer = tf.summary.FileWriter('/Users/andy/Downloads/mnist_logs_2', sess.graph)
    builder = tf.saved_model.builder.SavedModelBuilder("/Users/andy/Downloads/mnist_tfserving_model")
    prediction_signature = tf.saved_model.signature_def_utils.build_signature_def(
        inputs={
            'x': tf.saved_model.utils.build_tensor_info(x),
        },
        outputs={
            'y': tf.saved_model.utils.build_tensor_info(y),
        },
        method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)

    legacy_init_op = tf.group(
        tf.tables_initializer(), name='legacy_init_op')
    builder.add_meta_graph_and_variables(
        sess, [tf.saved_model.tag_constants.SERVING],
        signature_def_map={
            'mnist':
                prediction_signature,
        },
        clear_devices=False,
        legacy_init_op=legacy_init_op)

    builder.save()
    print("model export done.")

导出的模型需要在外层加一层目录命名为 1 ，后续tfserving会以此作为模型的版本标识。目录结构如下：

导出模型

9 模型传输

在ubuntu终端（需要另开一个终端，记住不要在docker容器里面）将自己的模型文件拷贝到容器中，

sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model   bafaaaa573b4:/

左侧为模型文件本地位置，右侧为docker容器位置，bafaaaa573b4为container id,如果没有commit,每次启动docker ，container id会改变，可以使用commit进行固定。container id查询命令为

sudo docker ps

10 在容器中运行tensorflow_model_server服务

tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/mnist_tfserving_model/

model_name自己设定即可，注意文件路径可能引起的错误。

模型成功部署

11 镜像保存

默认情况下，镜像退出后，所有操作都将清零，可以使用commit命令进行对现有镜像进行新的构建。
使用exit命令退出现有的docker

exit

构建新的镜像

sudo docker commit 614122c0aabb tensorflow/models

614122c0aabb为上文退出的镜像的 container ID (用sudo docker ps)
tensorflow/models为目标镜像仓库、镜像名。可自行设定。
进入镜像,即为新构建的镜像，之前做的修改均可复用。

sudo docker run -it -p 8500:8500 tensorflow/models

注意

使用命令进入docker环境时，

user@user-PowerEdge-T630:~$ sudo docker run -it -p 8500:8500 tensorflow/serving:latest-devel

默认进入的路径为：

root@ea549459413d:/tensorflow-serving# 

而将本地文件传输至docker中需要传入其上级路径，故上文路径这样规定。

sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model   bafaaaa573b4:/