1安裝grpc相關(guān)依賴：

sudo apt-get update && sudo apt-get install -y \
        build-essential \
        curl \
        libcurl3-dev \
        git \
        libfreetype6-dev \
        libpng12-dev \
        libzmq3-dev \
        pkg-config \
        python-dev \
        python-numpy \
        python-pip \
        software-properties-common \
        swig \
        zip \
        zlib1g-dev

2 安裝grpc

pip install grpcio

3安裝 tensorflow-serving-api

pip install tensorflow-serving-api

4 安裝tensorflow-model-server

echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list

curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -

sudo apt-get update && sudo apt-get install tensorflow-model-server

5 安裝docker

sudo apt-get install docker.io

由于docker官網(wǎng)被封，會(huì)報(bào)連接網(wǎng)絡(luò)超時(shí)的錯(cuò)誤，需要指定網(wǎng)站。

sudo vim /etc/docker/daemon.json

添加如下內(nèi)容

{"registry-mirrors": ["http://74ecfe5d.m.daocloud.io"],
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

保存退出。

systemctl daemon-reload
systemctl restart docker

重啟docker.
使用hello-world命令驗(yàn)證docker是否安裝成功。

sudo docker run hello-world

出現(xiàn)如下圖片說明配置成功。

hello-world

6 下載serving鏡像

docker pull tensorflow/serving:latest-devel

由于上文已經(jīng)配置網(wǎng)絡(luò)位置，所以本步不會(huì)出現(xiàn)連接超時(shí)的錯(cuò)誤。
使用命令查看安裝好的鏡像。

sudo docker images

docker images

tensorflow/serving為本步安裝好的鏡像。

7使用 serving鏡像創(chuàng)建容器：

docker run -it -p 8500:8500 tensorflow/serving:latest-devel

如下圖，說明已經(jīng)進(jìn)入docker.

docker root

8 模型導(dǎo)出

我們這里直接使用 https://github.com/opensourcesblog/tensorflow-mnist/tree/master/cps 下已經(jīng)train好導(dǎo)出的checkpoint文件，使用下述腳本進(jìn)行模型導(dǎo)出工作。腳本中的路徑根據(jù)自己實(shí)際情況替換。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import tensorflow as tf

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
x = tf.placeholder("float", [None, 784], name="x")
y = tf.nn.softmax(tf.matmul(x, W) + b, name="y")
saver = tf.train.Saver()
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    ckpt = tf.train.get_checkpoint_state("./cps/")
    if ckpt and ckpt.model_checkpoint_path:
        print(ckpt.model_checkpoint_path)
        saver.restore(sess, ckpt.model_checkpoint_path)
    # summary = tf.summary.merge_all()
    # summary_writer = tf.summary.FileWriter('/Users/andy/Downloads/mnist_logs_2', sess.graph)
    builder = tf.saved_model.builder.SavedModelBuilder("/Users/andy/Downloads/mnist_tfserving_model")
    prediction_signature = tf.saved_model.signature_def_utils.build_signature_def(
        inputs={
            'x': tf.saved_model.utils.build_tensor_info(x),
        },
        outputs={
            'y': tf.saved_model.utils.build_tensor_info(y),
        },
        method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)

    legacy_init_op = tf.group(
        tf.tables_initializer(), name='legacy_init_op')
    builder.add_meta_graph_and_variables(
        sess, [tf.saved_model.tag_constants.SERVING],
        signature_def_map={
            'mnist':
                prediction_signature,
        },
        clear_devices=False,
        legacy_init_op=legacy_init_op)

    builder.save()
    print("model export done.")

導(dǎo)出的模型需要在外層加一層目錄命名為 1 ，后續(xù)tfserving會(huì)以此作為模型的版本標(biāo)識。目錄結(jié)構(gòu)如下：

導(dǎo)出模型

9 模型傳輸

在ubuntu終端（需要另開一個(gè)終端，記住不要在docker容器里面）將自己的模型文件拷貝到容器中，

sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model   bafaaaa573b4:/

左側(cè)為模型文件本地位置，右側(cè)為docker容器位置，bafaaaa573b4為container id,如果沒有commit,每次啟動(dòng)docker ，container id會(huì)改變，可以使用commit進(jìn)行固定。container id查詢命令為

sudo docker ps

10 在容器中運(yùn)行tensorflow_model_server服務(wù)

tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/mnist_tfserving_model/

model_name自己設(shè)定即可，注意文件路徑可能引起的錯(cuò)誤。

模型成功部署

11 鏡像保存

默認(rèn)情況下，鏡像退出后，所有操作都將清零，可以使用commit命令進(jìn)行對現(xiàn)有鏡像進(jìn)行新的構(gòu)建。
使用exit命令退出現(xiàn)有的docker

exit

構(gòu)建新的鏡像

sudo docker commit 614122c0aabb tensorflow/models

614122c0aabb為上文退出的鏡像的 container ID (用sudo docker ps)
tensorflow/models為目標(biāo)鏡像倉庫、鏡像名?？勺孕性O(shè)定。
進(jìn)入鏡像,即為新構(gòu)建的鏡像，之前做的修改均可復(fù)用。

sudo docker run -it -p 8500:8500 tensorflow/models

注意

使用命令進(jìn)入docker環(huán)境時(shí)，

user@user-PowerEdge-T630:~$ sudo docker run -it -p 8500:8500 tensorflow/serving:latest-devel

默認(rèn)進(jìn)入的路徑為：

root@ea549459413d:/tensorflow-serving# 

而將本地文件傳輸至docker中需要傳入其上級路徑，故上文路徑這樣規(guī)定。

sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model   bafaaaa573b4:/