簡(jiǎn)單介紹

tensorflow 訓(xùn)練后得到的SavedModel 文件一般可以使用 tf.serving 進(jìn)行部署，穩(wěn)定且方便調(diào)用。 如果后續(xù)模型更新了，直接將模型文件拷貝至對(duì)應(yīng)模型保存路徑中。serving會(huì)根據(jù)模型版本號(hào)去自動(dòng)加載。這樣就方便了以后的模型更新操作。
相應(yīng)的操作步驟可以參考以下代碼，尤其是模型調(diào)用 這部分。
博客記錄內(nèi)容較為簡(jiǎn)單，建議看官們?cè)诓渴疬^(guò)程中先了解一下官方serving github項(xiàng)目。

docker及對(duì)應(yīng)的serving鏡像環(huán)境準(zhǔn)備

1. 安裝docker
   docker安裝命令請(qǐng)參考官網(wǎng)頁(yè)面。

2. 安裝nvidia-docker
   nvidia-docker可以支持模型應(yīng)用在GPU上運(yùn)行，安裝nvidia-docker請(qǐng)參考官方頁(yè)面。

3. 拉取Tensorflow Serving GPU docker image
   在docker hub中，tensorflow 官方已經(jīng)提供了多個(gè)版本的Tensorflow Serving 鏡像，在該官方鏡像list 可以找到相應(yīng)的版本。例如你的代碼是基于tensorflow 1.11.1的話，那就可以選擇“1.11.1”、“1.11.1-devel”、“1.11.1-devel-gpu”、“1.11.1-gpu”，這幾個(gè)的區(qū)別在于，只有版本號(hào)不帶devel的是cpu版本，是官方封裝好的docker，無(wú)法對(duì)其進(jìn)行任何修改；帶devel的是development版本，你可以進(jìn)入鏡像的容器里面修改配置，然后使用docker的commit命令來(lái)保存修改；帶gpu的是gpu版本，同樣如果不帶devel就無(wú)法修改里面的配置。

基于下載好的serving鏡像進(jìn)行服務(wù)部署

Serving部署的服務(wù)可對(duì)外開放兩種API： Client REST API 和 grpc API, 分別對(duì)應(yīng)端口8501 和 8500。
以下是我部署服務(wù)使用的示例指令，此處使用 tensorflow/serving:1.14.0-gpu 鏡像。
其中第一個(gè)8500對(duì)應(yīng)著這次部署服務(wù)對(duì)外開放的端口，可以根據(jù)情況修改為自己需要的端口， 第二個(gè)8500指明使用 grpc API。 相應(yīng)的，我的調(diào)用代碼也使用 python版本的 grpc API。

## 服飾關(guān)鍵點(diǎn)模型 
docker run --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=1 -it -p 8500:8500  \
 -v "/data/project/clothes_keypoints_detection_server/code/code/saved_models:/models/clothes_keypoints" \
 -e MODEL_NAME=clothes_keypoints tensorflow/serving:1.14.0-gpu \
 --per_process_gpu_memory_fraction=0.5

Python調(diào)用部署tf.Serving服務(wù)

此處給出官方的示例地址（https://github.com/tensorflow/serving/tree/master/tensorflow_serving/example
）。
同時(shí)，以下為我的一個(gè)服務(wù)調(diào)用代碼示例。

from grpc.beta import implementations
import tensorflow as tf
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2

class KeyPointDetector:
    def __init__(self, hostport, model_name):
        self.hostport = hostport
        self.model_name = model_name

    def do_inference(self,
                     crop_image,
                     box,
                     ori_shape,
                     shape_bbox,
                     signature_name=None):
        """Tests PredictionService with concurrent requests.
        Args:
        hostport: Host:port address of the Prediction Service.
        Returns:
        pred values, ground truth label
        """
        host, port = self.hostport.split(':')
        channel = implementations.insecure_channel(host, int(port))
        stub = prediction_service_pb2.beta_create_PredictionService_stub(
            channel)

        # fill in the request object with the necessary data
        request = predict_pb2.PredictRequest()
        request.model_spec.name = self.model_name
        #     request.model_spec.signature_name = 'pred_v'

        request.inputs['crop_image_processed'].CopyFrom(
            tf.contrib.util.make_tensor_proto(np.array(crop_image).astype(
                np.float32),
                                              shape=[384, 384, 3]))
        request.inputs['boxes'].CopyFrom(
            tf.contrib.util.make_tensor_proto(np.array(box).astype(np.float32),
                                              shape=[1, 4]))
        request.inputs['ori_shape'].CopyFrom(
            tf.contrib.util.make_tensor_proto(np.array(ori_shape).astype(
                np.float32),
                                              shape=[3]))
        request.inputs['shape_bbox'].CopyFrom(
            tf.contrib.util.make_tensor_proto(np.array(shape_bbox).astype(
                np.float32),
                                              shape=[3]))
        # predict
        response = stub.Predict(request, 30.0)  # 5 seconds

        pred_x_ratio = np.asarray(
            response.outputs["pred_x_ratio"].float_val).tolist()
        pred_y_ratio = np.asarray(
            response.outputs["pred_y_ratio"].float_val).tolist()
        preds_class = np.asarray(
            response.outputs["preds_class"].int64_val).tolist()
        fpred_x_bbox = np.asarray(
            response.outputs["fpred_x_bbox"].float_val).tolist()
        fpred_y_bbox = np.asarray(
            response.outputs["fpred_y_bbox"].float_val).tolist()
        pred_max = np.asarray(response.outputs["pred_max"].float_val).tolist()
        pred_max = np.asarray(response.outputs["pred_max"].float_val).tolist()
        return pred_x_ratio, pred_y_ratio, preds_class, fpred_x_bbox, fpred_y_bbox, pred_max

返回?cái)?shù)據(jù)格式選擇

如果不是像我上文一樣獲取一個(gè)List，而是有自己的返回格式需求：

outputs_tensor_proto = result.outputs["outputs"]
## 恢復(fù)返回的張量，并保存原有的shape
shape = tf.TensorShape(outputs_tensor_proto.tensor_shape)
outputs = tf.constant(outputs_tensor_proto.float_val, shape=shape)
## 想獲取 Numpy 矩陣，則使用該代碼
outputs = np.array(outputs_tensor_proto.float_val).reshape(shape.as_list())
## 如果你不想依賴tensorflow的庫(kù)
shape = [dim.size for dim in outputs_tensor_proto.tensor_shape.dim]
outputs = np.array(outputs_tensor_proto.float_val).reshape(shape)

參考資料
https://zhuanlan.zhihu.com/p/52096200
https://www.tensorflow.org/tfx/serving/docker
https://github.com/tensorflow/serving