只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型

在生产环境中部署机器学习模型是数据工程中经常被忽视的领域。网上的大多数教程/博客都侧重于构建、训练和调整机器学习模型。如果它不能用于实际的预测，那么它又有什么用呢？接下来了解一下有哪些部署选项吧：
评估选项
在生产中部署机器学习模型时，有多种选择。其中一种流行的方法是使用Azure Machine Learning Studio等云服务设计和训练模型，这些服务具有使用拖放工具构建和训练模型的能力。此外，将这些模型作为Web服务发布只需点击几下即可。此类设置的附加优势在于，该部署会随着应用程序使用量的增加而自动扩展。
虽然短时间看起来很方便，但从长远来看，这种设置可能会有问题。当我们想要将应用程序从第三方云平台迁移并将其部署在我们的服务器上时，就有难度了。由于这些工具与其各自的云平台紧密集成，因此这种设置不可移植。此外，随着应用程序的扩展，云计算的成本可能是一个令人望而却步的因素。

如果我们构建自定义REST-API作为机器学习模型的终点，则可以避免这些问题。特别是，本文将使用基于Python的Flask Web框架来为模型构建API，然后将这个flask应用程序整齐地集成到Docker映像中来进行部署。Docker显然适合解决这个问题，因为应用程序的所有依赖项都可以打包在容器中，并且可以通过必要时刻简单地部署更多容器来实现可伸缩性。这种部署架构本质上是可扩展的、成本有效的和便携的。

Docker：Docker是一种开源的容器化技术，允许开发人员将应用程序与依赖库打包在一起，并将其与底层操作系统隔离开来。与VM不同，docker不需要每个应用程序的Guest虚拟机操作系统，因此可以维护轻量级资源管理系统。与容器相比，虚拟机更重量级，因此容器可以相对快速地旋转，同时具有较低的内存占用，这有助于将来我们的应用程序和模型的可伸缩性。

Jenkins：Jenkins可能是最受欢迎的持续集成和持续交付工具，大约拥有1400个插件，可自动构建和部署项目。Jenkins提供了一个在其管道中添加GitHub web-hook的规定，这样每次开发人员将更改推送到GitHub存储库时，它都会自动开始为修改后的模型运行验证测试，并构建docker镜像来进行部署。
ngrok：ngrok是一个免费工具，可将公共URL传送到本地运行的应用程序它会生成一个可以在GitHub web-hook中用于触发推送事件的URL。
Flask：Flask是一个用Python编写的开源Web框架，内置开发服务器和调试器。虽然有许多可以替代Web框架来创建REST API，但Flask的简单性备受青睐。
部署
你可能想知道“我进入了什么样的环状土地？”但我保证接下来的步骤将变得简单实用。到目前为止，我们已经了解了部署体系结构中的不同组件以及每个组件的功能的简要说明。在本节中，将介绍部署模型的详细步骤。

部署过程可以暂时分为四个部分：构建和保存模型、使用REST API公开模型，将模型打包在容器内以及配置持续集成工具。
在继续下一步之前，使用以下命令将GitHub存储库复制到本地计算机。此存储库包含所有代码文件，可用作部署自定义模型的参考。

git clone git@github.com:EkramulHoque/docker-jenkins-flask-tutorial.git

注：虽然以上提到的步骤适用于Windows操作系统，但修改这些命令以在Mac或Unix系统上运行应该是很简单的。
训练和保存模型
在本例中，使用来自scikit-learn的鸢尾花数据集来构建我们的机器学习模型。在加载数据集后，提取用于模型训练的特征（x）和目标（y）。为了进行预测，先创建一个名为“labels”的字典，其中包含目标的标签名称，这里将决策树分类器用作模型。你可以在sklearn随意尝试其他分类器，通过调用模型上的方法来生成测试数据的预测标签。
我们使用pickle库将模型导出为pickle文件，并将模型保存在磁盘上。从文件加载模型后，我们将样本数据作为模型的输入并预测其目标变量。

#!/usr/bin/env python
# coding: utf-8
import pickle
from  sklearn import  datasets
iris=datasets.load_iris()
x=iris.data
y=iris.target#labels for iris dataset
labels ={0: "setosa",1: "versicolor",2: "virginica"
}#split the data set
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=.5)#Using decision tree algorithm
from sklearn import tree
classifier=tree.DecisionTreeClassifier()
classifier.fit(x_train,y_train)
predictions=classifier.predict(x_test)#export the model
pickle.dump(classifier, open('model.pkl','wb'))#load the model and test with a custom input
model = pickle.load( open('model.pkl','rb'))
x = [[6.7, 3.3, 5.7, 2.1]]
predict = model.predict(x)
print(labels[predict[0]])

构建REST API：
Flask web框架帮助我们创建与模型通信所需的HTTP端点，我们使用pickle.load（）方法从磁盘读取保存的模型。
Flask提供了一个route（）装饰器，它告诉应用程序哪个URL应该调用相关的函数。它接受2个参数，即“rule”和“options”。 'rule'参数表示绑定到函数的URL，'options'是要转发到Rule对象的参数列表。
在示例中，'/ api'URL绑定到predict（）函数。因此，当我们发出POST请求时，它会调用以JSON格式接收特征向量的函数。然后将“特征”向量传递到模型中，该模型对”特征”向量进行预测，然后以JSON格式返回标签。
请注意，Flask类的run（）方法是在本地开发服务器上运行应用程序。在这里，将主机传递为'0.0.0.0'，以便在docker容器中公开它。你可以在docker配置设置中查看更多相关信息。


from flask import Flask, request, jsonify
import json
import pickle
import pandas as pd
import numpy as npapp = Flask(__name__)# Load the model
model = pickle.load(open('model.pkl','rb'))
labels ={0: "versicolor",   1: "setosa",2: "virginica"
}@app.route('/api',methods=['POST'])
def predict():# Get the data from the POST request.data = request.get_json(force=True)predict = model.predict(data['feature'])return jsonify(predict[0].tolist())if __name__ == '__main__':
app.run(debug=True,host='0.0.0.0')

打包
为了允许Docker托管我们的API，我们需要指定一组允许Docker构建映像的指令。这组指令可以保存在Dockerfile中，该文件包含了可在命令行上调用来创建Docker镜像的所有命令。
现在开始创建Dockerfile，先打开文本编辑器并将其另存为“Dockerfile”，不带后缀或前缀。

FROM ubuntu:16.04
FROM python:3.6.5
RUN apt-get update -y && \apt-get install -y python-pip python-dev# We copy just the requirements.txt first to leverage Docker cache
COPY ./requirements.txt /app/requirements.txtWORKDIR /appRUN pip install -r requirements.txtCOPY . /appCMD python /app/model.py && python /app/server.py

工作目录现包含以下文件：
•model.py用于训练和构建模型；
•server.py来管理请求和服务器；
•Dockerfile包含docker镜像的说明；
•requirements.txt包含API所需的库；
持续集成
到目前为止，我们已经创建了Flask API，完成了一个Dockerfile并将项目推送到git存储库中。作为先决条件，需要安装这3个应用程序--Docker，Ngrok和Jenkins。本节中的视频将演示之前在架构图中提到的整个过程。
结论
在这篇博客中，我们深入研究了使用Docker，Flask和Jenkins部署机器学习模型的过程。我们希望对你在生产中部署自己的机器学习模型时有所帮助。可以在此处找到本文中提供的代码的GitHub。

原文链接
本文为云栖社区原创内容，未经允许不得转载。

只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型相关推荐

flask 部署_只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型
摘要: 一杯茶的功夫部署完成机器学习模型! 在生产环境中部署机器学习模型是数据工程中经常被忽视的领域.网上的大多数教程/博客都侧重于构建.训练和调整机器学习模型.如果它不能用于实际的预测,那么它又有什 ...
3d打印英语文献_锐医学院 | 只需10分钟！解读康复医学文献+英语学习
文献解读+英语学习只需10分钟锐医学院致力于专业康复教育培训同时,也在康复领域专家的合作下,一直在研究康复领域最前沿所取得的研究成果.存在的问题以及发展趋势进行系统和全面的叙述和评论与各领域康复专 ...
只需10分钟，给你全世界！水经注全球三维离线GIS系统
概述对于有高标准保密要求的企事业单位来讲,单位内部的网络在物理上就必须与互联网进行隔离,外部数据通常只能通过刻录光盘的形式将数据导入到局域网内部. 如U盘.硬盘.笔记本电脑等可读写设备,就完全禁止带 ...
深度学习所需显存_只需10分钟即可学习基本的Flexbox
深度学习所需显存 by Justin Yek 贾斯汀·耶克(Justin Yek) 只需10分钟即可学习基本的Flexbox (Learn basic Flexbox in just 10 minut ...
新方法破解Wi-Fi WPA2加密平均只需10分钟
原文地址:https://www.mozhe.cn/news/detail/461 随着Wi-Fi劫持等各类事件的频发,人们不难意识到传统的Wi-Fi变得不再安全.近日Hashcat的首席开发人员Je ...
4计算准确率_让最差的学生突破计算关，只需10分钟，不会算我输
首先声明:这绝不是忽悠.只是稍加说明,是10分钟学会20以内加法,10分钟学会20以内减法,这是针对后进生说的.接受能力正常的,经实验10多分学会两种,只是同时学开始容易弄混方法. 20以内的加减法, ...
声波刺激就可长出新骨头？每天只需10分钟，干细胞5天快速分化，芯片装置只需1美元...
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达丰色发自凹非寺量子位 | 公众号 QbitAI 骨骼再生一直是 ...
必读！！只需10分钟，NAS变身赚钱神器！
有很多朋友现在家里都有NAS,今天教大家如何利用NAS的闲置资源薅羊毛. NAS我们正常的用途是存储资料,通过网络传输实现多设备文件互通,但是在大部分情况下,我们的宽带和NAS机能处于闲置状态. 在安 ...
原来做PPT还有这些神级的辅助工具！只需10分钟就能做出惊艳的PPT
有很多小伙伴现在都需要做各种各样的PPT,不过想要快速做出美上天的PPT可不是一件简单的事情.看着隔壁大神轻轻松松就能做出炫酷到爆的PPT,很多人只能告诉自己,不酸! 别担心,今天小编将告诉大家这些做 ...

只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型

只需10分钟！就能用Flask，Docker和Jenkins部署机器学习模型相关推荐

最新文章

热门文章