点击上方“AI搞事情”关注我们

内容转载自知乎：https://zhuanlan.zhihu.com/p/96917543

Justin ho

〉

Tensorflow 2.0.0出来后，1.x版本的API有些已经改变，19年年初写的这一篇《TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署》 文章，在tf 2.0.0版本里面有较大的变动，另外Tensorflow官方也推荐大家使用tf.keras，因此本文将会教大家如何使用tensorflow serving部署keras模型，适用tensorflow 2.0.0以后的版本。注：下面“tensorflow serving”将会简写为“tfs”。

一、导出Keras模型

keras模型训练完毕后，一般我们都会使用model.save(filepath)储存为h5文件，包含模型的结构和参数，而我们需要把这个h5文件导出为tensorflow serving所需要的模型格式：

from keras import backend as K
from keras.models import load_model
import tensorflow as tf# 首先使用tf.keras的load_model来导入模型h5文件
model_path = 'v7_resnet50_19-0.9068-0.8000.h5'
model = tf.keras.models.load_model(model_path, custom_objects=dependencies)
model.save('models/resnet/', save_format='tf')  # 导出tf格式的模型文件

注意，这里要使用tf.keras.models.load_model来导入模型，不能使用keras.models.load_model，只有tf.keras.models.load_model能导出成tfs所需的模型文件。导出的文件路径结构如下：

.
└── 0├── assets├── saved_model.pb└── variables├── variables.data-00000-of-00002├── variables.data-00001-of-00002└── variables.index

最大的改变是，以往导出keras模型需要写一大段定义builder的代码，如这篇文章《keras、tensorflow serving踩坑记》 的那样，现在只需使用简单的model.save就可以导出了。当然以前这种写法应该还能继续使用，能自定义signature、input、output的名称，但为了简单起见（用keras不就是为了简单嘛），直接一键导出更舒服。

导出以后，我们在终端执行以下命令，查看模型的signature、input、output的名称，后面要用到：

saved_model_cli show --dir 0/ --all# 将会输出：
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:signature_def['__saved_model_init_op']:The given SavedModel SignatureDef contains the following input(s):The given SavedModel SignatureDef contains the following output(s):outputs['__saved_model_init_op'] tensor_info:dtype: DT_INVALIDshape: unknown_rankname: NoOpMethod name is:signature_def['serving_default']:The given SavedModel SignatureDef contains the following input(s):inputs['input_1'] tensor_info:dtype: DT_FLOATshape: (-1, 224, 224, 3)name: serving_default_input_1:0The given SavedModel SignatureDef contains the following output(s):outputs['fc2'] tensor_info:dtype: DT_FLOATshape: (-1, 4)name: StatefulPartitionedCall:0Method name is: tensorflow/serving/predict

可以看到，signature name为“serving_default”，input name为“input_1”，output name为“fc2”。记下来，一会用到。

二、Docker部署模型

一律使用docker来部署你的模型，如果还不知道docker是什么，不知道怎么用docker来拉取tfs的镜像，请查阅我之前的文章：

Justin ho：TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署zhuanlan.zhihu.com

这里默认你已经会拉取tfs模型到本地，现在执行以下容器启动命令：

sudo nvidia-docker run -p 8500:8500 \-v /home/projects/resnet/weights/:/models \--name resnet50 \-itd --entrypoint=tensorflow_model_server tensorflow/serving:2.0.0-gpu \--port=8500 --per_process_gpu_memory_fraction=0.5 \--enable_batching=true --model_name=resnet --model_base_path=/models/season &

这里涉及的参数意义一律看上面那篇文章，这里不解释了。

三、请求客户端

模型部署起来后，我们要写一个grpc客户端来请求模型，代码参考：

from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc
import grpcdef request_server(img_resized, server_url):'''用于向TensorFlow Serving服务请求推理结果的函数。:param img_resized: 经过预处理的待推理图片数组，numpy array，shape：(h, w, 3):param server_url: TensorFlow Serving的地址加端口，str，如：'0.0.0.0:8500' :return: 模型返回的结果数组，numpy array'''# Request.channel = grpc.insecure_channel(server_url)stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)request = predict_pb2.PredictRequest()request.model_spec.name = "resnet"  # 模型名称，启动容器命令的model_name参数request.model_spec.signature_name = "serving_default"  # 签名名称，刚才叫你记下来的# "input_1"是你导出模型时设置的输入名称，刚才叫你记下来的request.inputs["input_1"].CopyFrom(tf.make_tensor_proto(img_resized, shape=[1, ] + list(img_resized.shape)))response = stub.Predict(request, 5.0)  # 5 secs timeoutreturn np.asarray(response.outputs["fc2"].float_val) # fc2为输出名称，刚才叫你记下来的

tensorflow 2.0.0请使用以上这段代码，之前那篇tfs的部署文章里面的api已经变了。

我们测试一下，读取一张图片，发送请求到tfs：

from PIL import Image
import numpy as npimgpath = '20171101110450_48901.jpg'
x = Image.open(imgpath)
x = np.array(x).astype('float32')
x = (x - 128.) / 128.# grpc地址及端口，为你容器所在机器的ip + 容器启动命令里面设置的port
server_url = '0.0.0.0:8500'
request_server(x, server_url)

我们将会得到（我这里的resnet只输出4类多标签结果）：

array([0.58116215, 0.04240507, 0.74790353, 0.1388033 ])