【基于 docker 的 Flask 的深度学习模型部署】
文章目录
- 1、前言
- 2、docker简介
- 3、基于Falsk的REST API实现
- 4、编写dockerfile
- 5、基于docker的模型部署
1、前言
模型部署一直是深度学习算法走向落地的重要的一环。随着深度学习落地需求越来越迫切,具备一定工程部署能力是算法工程师的必备能力之一。
但深度学习模型一个比较关键的前置条件就是需要花不少时间进行环境配置,可能先需要建一个虚拟环境,然后配置深度学习框架和一些第三方库,即时性和可移植性都比较差,总体而言可用性就不是那么强了。那么有没有一种可以一键部署的方式?能在10分钟内就可以在一台新机器上部署好我们的深度学习模型?答案是肯定的。本文笔者基于容器化技术的经典工具docker,对REST API模型部署方式进行升级,让模型部署更加高可用。
2、docker简介
先简单说一下docker。docker是一款基于Go语言开发的开源容器化技术。为了避免你写的代码在不同环境上表现不一,docker提供了一种环境隔离技术,将你的代码和代码所有的依赖都打包到container中去,做到once build,run everywhere的效果。关于docker更详细的介绍,各位读者可以自行查找资料进行学习,不作为本文的重点。
docker实际要重点掌握几个概念和操作如下图所示。
类似于makefile风格,dockfile是用于生成image(镜像)的文件,这个是需要我们自己编写的,编写完dockerfile之后,通过docker build命令生成image,这个image可以理解为可执行程序,最后通过docker run运行这个可执行程序image, 运行起来的这个image就是container(容器)。
关于ubuntu docker安装可参考:
https://docs.docker.com/engine/install/ubuntu/
3、基于Falsk的REST API实现
下面进入正文,来看基于docker和Flask如何快速部署一个深度学习模型,模型是一个基于MobileNetV2的图像分类器。用于启动REST API的app.py文件代码编写如下:
import os
import sys
# Flask
from flask import Flask, redirect, url_for, request, render_template, Response, jsonify, redirect
from werkzeug.utils import secure_filename
from gevent.pywsgi import WSGIServer
# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.applications.imagenet_utils import preprocess_input, decode_predictions
from tensorflow.keras.models import load_model
from tensorflow.keras.preprocessing import image
# Some utilites
import numpy as np
from util import base64_to_pil
# Declare a flask app
app = Flask(__name__)
# You can use pretrained model from Keras
# Check https://keras.io/applications/
# or https://www.tensorflow.org/api_docs/python/tf/keras/applications
from tensorflow.keras.applications.mobilenet_v2 import MobileNetV2
model = MobileNetV2(weights='imagenet')
print('Model loaded. Check http://127.0.0.1:5000/')
# Model saved with Keras model.save()
MODEL_PATH = 'models/your_model.h5'
# Load your own trained model
# model = load_model(MODEL_PATH)
# model._make_predict_function() # Necessary
# print('Model loaded. Start serving...')
def model_predict(img, model):img = img.resize((224, 224))# Preprocessing the imagex = image.img_to_array(img)# x = np.true_divide(x, 255)x = np.expand_dims(x, axis=0)# Be careful how your trained model deals with the input# otherwise, it won't make correct prediction!x = preprocess_input(x, mode='tf')preds = model.predict(x)return preds@app.route('/', methods=['GET'])
def index():# Main pagereturn render_template('index.html')
@app.route('/predict', methods=['GET', 'POST'])
def predict():if request.method == 'POST':# Get the image from post requestimg = base64_to_pil(request.json)# Save the image to ./uploads# img.save("./uploads/image.png")# Make predictionpreds = model_predict(img, model)# Process your result for humanpred_proba = "{:.3f}".format(np.amax(preds)) # Max probabilitypred_class = decode_predictions(preds, top=1) # ImageNet Decoderesult = str(pred_class[0][0][1]) # Convert to stringresult = result.replace('_', ' ').capitalize() # Serialize the result, you can add additional fieldsreturn jsonify(result=result, probability=pred_proba)return Noneif __name__ == '__main__':# app.run(port=5002, threaded=False)# Serve the app with geventhttp_server = WSGIServer(('0.0.0.0', 5000), app)http_server.serve_forever()
这里主要是基于Flask web框架实现一个REST API服务,并添加html模板,将服务运行到指定的IP地址上。关于Python Flask web框架,可参考廖雪峰老师的教程进行学习:
教程:https://www.liaoxuefeng.com/wiki/1016959663602400/1017806472608512
为了实现在指定网页上的效果,除了应用html模板之外,我们还需要编写一点css样式和js代码,这里略过,可参考文末链接查看完整代码。
4、编写dockerfile
接下来我们需要编写dockerfile,这是实现docker一键部署的起始点和关键所在。简单来说,就是通过一系列dockerfile指令将Python环境、项目所需第三方库、脚本运行等串起来,实现一键操作。所以在本例中我们可编写dockfile文件如下:
# 指定Python环境
FROM python:3.6-slim-stretch
# 拷贝Python依赖库requirements文件到当前目录下
ADD requirements.txt /
# 安装依赖库
RUN pip install -r /requirements.txt
# 拷贝所有文件到app目录下
ADD . /app
# 指定app为工作目录
WORKDIR /app
# 声明端口
EXPOSE 5000
# docker容器启动
CMD [ "python" , "app.py"]
requirements.txt包括的第三方依赖库有:
Flask==1.1.1
gevent==1.4.0
h5py==2.10.0
numpy==1.17.0
Pillow==6.1.0
tensorflow==2.3.1
Werkzeug==0.16.0
5、基于docker的模型部署
编写完dockerfile文件后,即可通过docker来对该深度学习分类器进行线上部署。docker build命令建立改项目镜像:
docker build -t keras_flask_app .
根据dockerfile中的7条指令,docker build也会经过个步骤来生成镜像。
生成镜像后即可运行,使得该深度学习项目服务启动:
docker run -it --rm -p 5000:5000 keras_flask_app
服务启动后,我们打开http://localhost:5000/即可使用该深度学习服务:
我们从本地上传一张图像进行测试:
这样,通过基于Flask实现的REST API服务和基于docker的一键部署功能结合在一起,我们就可以在短时间内快速搭建一套线上的深度学习服务。
完整项目代码可参考:
https://github.com/mtobeiyf/keras-flask-deploy-webapp
【基于 docker 的 Flask 的深度学习模型部署】相关推荐
- 基于web端和C++的两种深度学习模型部署方式
深度学习Author:louwillMachine Learning Lab 本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基... 深度学习 Author:l ...
- 【深度学习】基于web端和C++的两种深度学习模型部署方式
深度学习 Author:louwill Machine Learning Lab 本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基于C++软件集成的方式进行部署 ...
- pytorch基于web端和C++的两种深度学习模型部署方式
本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基于C++软件集成的方式进行部署. 基于web服务端的模型部署,主要是通过REST API的形式来提供接口方便调用 ...
- 基于TensorRT的深度学习模型部署实战教程!
应用背景介绍 早在遥远的1989年,一家叫做ALVIVN的公司首次将神经网络用在汽车上,进行车道线检测和地面分割.时至今日,深度学习已经应用在自动驾驶系统的多个分支领域.首先是感知领域,常用的传感器有 ...
- 基于web端的深度学习模型部署
1.1 web服务与技术框架 下面以ResNet50预训练模型为例,旨在展示一个轻量级的深度学习模型部署,写一个较为简单的图像分类的REST API.主要技术框架为Keras+Flask+Redis. ...
- 深度学习模型部署技术方案
深度学习模型部署技术方案 训练好的深度学习模型如何进行部署的相关技术方案 1 什么是模型部署? 2 数据科学项目整个开发流程 3 使用flask 将 Keras深度学习模型部署为Web应用程序 4 T ...
- 为什么将表格的method改为post后就无法工作_用Python将Keras深度学习模型部署为Web应用程序...
构建一个很棒的机器学习项目是一回事,但归根结底,你希望其他人能够看到你的辛勤工作.当然,你可以将整个项目放在GitHub上,但是怎么让你的祖父母也看到呢?我们想要的是将深度学习模型部署为世界上任何人都 ...
- 深度学习模型部署简要介绍
一.模型部署简介 近几年来,随着算力的不断提升和数据的不断增长,深度学习算法有了长足的发展.深度学习算法也越来越多的应用在各个领域中,比如图像处理在安防领域和自动驾驶领域的应用,再比如语音处理和自然语 ...
- 如何将深度学习模型部署到实际工程中?(分类+检测+分割)
应用背景介绍 早在遥远的1989年,一家叫做ALVIVN的公司首次将神经网络用在汽车上,进行车道线检测和地面分割.时至今日,深度学习已经应用在自动驾驶系统的多个分支领域.首先是感知领域,常用的传感器有 ...
最新文章
- c#中总是提示“在代码运行时或者在禁用“只要一个进程中断,就中断所有进程”选项时,不允许进行更改。...
- Ajax兼容处理+发送请求+接收返回信息
- cas协议,以及tomcat搭建cas服务器
- 典型案例 3:十分钟搭建弹性可扩展的 Web API
- ckks方案优化最好的_网站优化关键词怎么选?好的关键词长什么样?
- 软件测试缺陷定义和管理
- 回望iQOO一周年:子品牌战略的成功之路
- linux canopen软件,CANopen学习笔记
- 学习云计算就业方向有哪些 一般薪资能拿多少
- eclipse 装阿里规范模板
- 对Autorun.inf类U盘病毒的攻防
- mysql create definer_改写 mysqldump 解决 DEFINER 问题-爱可生
- 苹果手机在未激活的状况下待机时间长了会自动关机吗
- 青龙面板2.8版本+Ninja 保姆级 服务器安装jd代挂教程——(二)
- 餐厅预订系统如何选?餐厅预订系统推荐
- Android 系统禁用触摸屏
- 租用国内的云主机的话,阿里云和盛大云,哪个更好?
- element-ui 表格多选框 按条件禁用部分选项
- 计算机专业大一期末总结
- 【NC】简析NC6多语言实现