一、使用Flask部署Pytorch模型

其实原理很简单，我们希望使用一个已经训练好的pytorch模型，用它做预测或生成。我们的模型部署在服务器上，客户端可以通过http request调用我们部署在服务器上的模型，并用http response返回结果，这就和web应用的原理是一样的，所以可以使用Flask搭建一个轻量的web应用，只不过这个应用没有“网页”而已。

Flask是一个用Python编写的Web应用程序框架，如果用过Django的话可以理解为Flask是一个比Django还要更轻量的web框架。

https://zhuanlan.zhihu.com/p/35879835提供了一个很详细的例子。

二、Gunicorn拉起应用

【参考https://www.jianshu.com/p/fecf15ad0c9a https://juejin.im/post/6844903983388213256】

Flask非常容易上手，它自带的app.run()用来调试非常方便，但是用于生产环境无论是处理高并发还是鲁棒性都有所欠缺，一般会配合WGSI容器来进行[生产环境的部署

2.1 安装

首先pip安装gunicorn（注意 gunicorn 不能在 windows 环境下使用）

pip install gunicorn

2.2 准备Flask应用

比如有以下一个 app.py 文件

from flask import Flask  app = Flask(__name__)  @app.route('/')
def index():  return 'hello world!' if __name__ == '__main__':  app.run()

2.3 gunicorn命令启动应用

那么我们在 flask 的项目的目录下如何使用 gunicorn 来启动呢? 命令如下：

gunicorn -w 4 -b 0.0.0.0:5000 app:app

-w 4是指预定义的工作进程数为4，
-b 0.0.0.0:8000指绑定地址和端口
第一个 app 指的是 app.py 文件；第二个指的是 flask 应用的名字，app = Flask(name)

2.4 gunicorn配置项

通过 gunicorn -h 我们可以看到 gunicorn 有非常多的配置项

-c CONFIG  : CONFIG,配置文件的路径，通过配置文件启动；生产环境使用；-b ADDRESS : ADDRESS，ip加端口，绑定运行的主机；-w INT,  --workers INT用于处理工作进程的数量，为正整数，默认为1；-k STRTING, --worker-class STRTING要使用的工作模式，默认为sync异步，可以下载eventlet和gevent并指定
--threads INT：处理请求的工作线程数，使用指定数量的线程运行每个worker。为正整数，默认为1。--worker-connections INT：最大客户端并发数量，默认情况下这个值为1000。--backlog int：未决连接的最大数量，即等待服务的客户的数量。默认2048个，一般不修改；-p FILE, --pid FILE：设置pid文件的文件名，如果不设置将不会创建pid文件--access-logfile FILE  ： 要写入的访问日志目录--access-logformat STRING：要写入的访问日志格式--error-logfile FILE, --log-file FILE ：  要写入错误日志的文件目录。--log-level LEVEL  ：  错误日志输出等级。--limit-request-line INT ： HTTP请求头的行数的最大大小，此参数用于限制HTTP请求行的允许大小，默认情况下，这个值为4094。值是0~8190的数字。--limit-request-fields INT ： 限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击，默认情况下，这个值为100，这个值不能超过32768--limit-request-field-size INT ： 限制HTTP请求中请求头的大小，默认情况下这个值为8190字节。值是一个整数或者0，当该值为0时，表示将对请求头大小不做限制-t INT, --timeout INT：超过这么多秒后工作将被杀掉，并重新启动。一般设定为30秒；--daemon：是否以守护进程启动，默认false；--chdir ：在加载应用程序之前切换目录；--graceful-timeout INT：默认情况下，这个值为30，在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死；一般使用默认；--keep-alive INT：在keep-alive连接上等待请求的秒数，默认情况下值为2。一般设定在1~5秒之间。--reload：默认为False。此设置用于开发，每当应用程序发生更改时，都会导致工作重新启动。--spew：打印服务器执行过的每一条语句，默认False。此选择为原子性的，即要么全部打印，要么全部不打印；--check-config  ：显示现在的配置，默认值为False，即显示。-e ENV,  --env ENV： 设置环境变量；

2.5 gunicorn配置文件

gunicorn的配置项太多了，不可能在输入命令行的时候一次性输入这么多，而且容易出错，那么可以把这些配置先写在一个配置文件中，在启动的时候指定这个文件就好了。配置文件的方式启动，一般这个配置文件名是 gunicorn.conf.py。代码如下:

#  gunicorn.conf.py
# 并行工作进程数
workers = 4# 指定每个工作者的线程数
threads = 2# 端口 5000
bind = '0.0.0.0:5000'# 设置守护进程,将进程交给supervisor管理
daemon = 'false'# 工作模式协程
worker_class = 'gevent'# 设置最大并发量
worker_connections = 2000# 设置进程文件目录
pidfile = '/var/run/gunicorn.pid'# 设置访问日志和错误信息日志路径
accesslog = "log/access.log"
errorlog = "log/debug.log"
loglevel = "debug"# 设置日志记录水平
loglevel = 'warning'

代码里面的注释都很详细了，但是还是有几点需要说明的：

1.日志

配置文件中指定了日志文件的输出目录，需要注意的是：

需要log目录存在，如果不存在，启动会报错
accesslog 是访问日志，可以通过 access_log_format 设置访问日志格式
loglevel 用于控制 errorlog 的信息级别

不过更建议使用 logging 模块来管理日志

2. workers

worker_class 是指开启的每个工作进程的模式类型，默认为 sync 模式，这个使用 gevent 模式，gevent 是 python 的一个高并发库
workers 是并行工作进程数，在上述配置文件中，取的是服务器的 CPU 的数量。需要注意的是，这个数字不是越大越好，因为我们还要注意部署机器的性能，不能无限制多开。一般是根据服务器的 CPU核心数来确定的！

workers = multiprocessing * cpu_count() * 2 + 1

配置文件搞定之后，启动命令就很简单了。启动 gunicorn 命令如下

gunicorn -c gunicorn.conf app:app

三、Docker打包应用

关于Docker的使用在之前的文章中介绍过了，https://blog.csdn.net/qq_33648725/article/details/109119487

假设我们已经写好了一个flask应用，也写好了gunicorn的配置文件，然后我们想创建一个docker镜像把这些东西都打包进去，当启动docker容器时也自动启动gunicorn。

创建一个docker-test文件夹，目录结构是这样的：

docker-test

----- flask_app

--- static

--- templates

--- gunicorn.conf.py

--- app.py

----- Dockerfile

其中flask_app是你的web应用，里面存放着模型、代码、静态文件等，gunicorn.conf.py也要放在里面。

Dockerfile文件最后一句话要设置为

CMD ["gunicorn", "-c", "gunicorn.conf.py", "server:app"]

意思是在启动docker时执行[ ]内的命令行，该命令行会启动gunicorn，并指定配置文件和要拉起的web应用入口

在docker_test目录下使用docker build -t <user_name>/<newImageName >:<tag> .命令创建新镜像，再使用docker run -p 5000:5000 -d --name <containerName> <user_name>/<newImageName >:<tag>命令启动该镜像，就会发现该web应用可以在docker里面启动了。

学习笔记|Flask部署Pytorch模型+Gunicorn+Docker相关推荐

《南溪的目标检测学习笔记》——训练PyTorch模型遇到显存不足的情况怎么办(“OOM: CUDA out of memory“)
1 前言在目标检测中,可能会遇到显存不足的情况,我们在这里记录一下解决方案: 2 如何判断真正是出现显存溢出(不是"软件误报") 当前需要分配的显存在600MiB以下, 例如: ...
flask部署pytorch模型
项目代码: https://pan.baidu.com/s/1-FdTk7XjryvUsZR9CW9T3g 提取码:6uo5 该项目上传至阿里云仓库:docker--构建自己的项目(阿里云仓库)| d ...
PowerDesigner 15学习笔记：十大模型及五大分类
原文:PowerDesigner 15学习笔记:十大模型及五大分类个人认为PowerDesigner 最大的特点和优势就是1)提供了一整套的解决方案,面向了不同的人员提供不同的模型工具,比如有针对企 ...
【K210】K210学习笔记六——MaixHub在线模型训练识别数字
[K210]K210学习笔记六--MaixHub在线模型训练识别数字前言 K210准备工作数据的获取 MaixHub如何在线训练模型训练模型在K210上的测试小结前言本人大四学生,电赛生涯 ...
WinSock学习笔记3：Select模型
WinSock学习笔记3:Select模型 unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, G ...
CUDA学习笔记之 CUDA存储器模型
CUDA学习笔记之 CUDA存储器模型标签: cuda存储bindingcache编程api 2010-12-14 01:33 1223人阅读评论(0) 收藏举报分类: CUDA(26) GP ...
Python数据挖掘学习笔记】九.回归模型LinearRegression简单分析氧化物数据
#2018-03-23 16:26:20 March Friday the 12 week, the 082 day SZ SSMR [Python数据挖掘学习笔记]九.回归模型LinearRegre ...
2020-4-20 深度学习笔记20 - 深度生成模型 3 (实值数据上的玻尔兹曼机)
第二十章深度生成模型 Deep Generative Models 中文英文 2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机,受限玻尔兹曼机RBM) 2020-4-18 ...
2020-4-22 深度学习笔记20 - 深度生成模型 5 (有向生成网络--sigmoid信念网络/可微生成器网络/变分自编码器VAE/生产对抗网络GAN/生成矩匹配网络)
第二十章深度生成模型 Deep Generative Models 中文英文 2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机,受限玻尔兹曼机RBM) 2020-4-18 ...

学习笔记|Flask部署Pytorch模型+Gunicorn+Docker