独家 | 机器学习模型应用方法综述
作者:Julien Kervizic
翻译:陈之炎
校对:李海明
训练:一次性训练、批量训练和实时训练/在线训练
应用:批训练、实时训练 (数据库触发器、Pub/Sub、Web服务、inApp)
一次性训练
从Jupyter到Prod
模型格式
训练
批训练
实时训练
批量预测与实时预测的比较
载荷的影响
架构的影响
成本的影响
评估的影响
批量预测集成
实时预测集成
配置文件:客户配置文件包含和客户相关的所有属性,以及给出预测所必需的不同属性(例如:计数器)。对于客户级预测,为了减少从多个地方提取信息的延迟,以及简化机器学习模型的量产化过程,配置文件是必须的。在大多数情况下,为了更有效地获取数据,需要相似的数据存储类型。
触发器:触发器是引导进程启动的事件,它们可以用于客户流失的预测。例如调用客户服务中心、检查订单历史记录中的信息等。
模型: 模型需要经过预先训练,通常导出到前面提到的 3 种格式之一 (pickle、 ONNX 或 PMML) ,以便可以将其移植到量产中。
取决于数据库集成:诸多数据库供应商为在数据库中绑定高级分析用例做出了重大努力,既可以直接集成Python或R代码,也可以导入PMML模型。
利用Pub/Sub模型:预测模型本质上是对数据流的输入执行某些操作,例如提取客户配置信息等。
Webservice:围绕模型预测设置API封装器,并将其部署为Web服务。根据Web服务的设置方式,它可能执行或不执行驱动模型所需的数据操作。
inApp:也可以将模型直接部署到本地或Web应用程序中,并让模型在本地或外部数据源上运行。
数据库集成
流程
新事件: 当在投诉表中插入新行时,将生成事件触发器。
触发器: 触发器功能将更新该客户在客户配置文件表中提出的投诉数量,并为客户更新记录。
预测请求:使用PL/Python重新运行客户流失模型并检索预测结果。
用户配置文件的更新:根据更新后的预测结果重新更新客户配置文件。然后,当检查客户配置文件是否已经用客户流失预测值进行更新时,就会生成下游流。
技术
Pub/Sub
流程
技术
提供标识符,然后让web服务提取所需的信息,计算预测值,然后返回该值
或者通过接受有效载荷,将其转换为数据帧,进行预测并返回该值。
流程
应用程序初始化(1至3)阶段:应用程序初始化,向客户配置文件发出请求,检索其初始值,在本地存储中初始化配置文件。
应用程序(4)阶段:应用程序将与该程序中出现的不同事件存储到本地存储区的数组中。
预测准备阶段(5-8):如果应用程序想要检索一个新的客户流失预测,那么它需要将互联网服务所需的信息准备好。首先对本地存储进行初始请求,并检索客户配置文件的值及其存储的事件数组,检索完成后,向还原器函数提出请求,将这些值作为参数,还原器函数输出一个更新后的客户配置文件,并将本地事件合并到这个客户配置文件中。
Web服务预测阶段(9至10):应用程序向客户流失预测的互联网服务产品发出请求,将第8步骤中的有效载荷提供给更新后的客户配置文件。然后,互联网服务产品可以使用载荷提供的信息生成预测并将其值输出给应用程序。
技术
函数
容器
笔记簿
应用程序内部
需要综合考虑的几点
模型的复杂度
数据来源
实验框架
小结
原文标题:
Overview of the different approaches to putting Machine Learning (ML) models in production
原文链接:
https://medium.com/analytics-and-data/overview-of-the-different-approaches-to-putting-machinelearning-ml-models-in-production-c699b34abf86
编辑:黄继彦
校对:王欣
译者简介
陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师,现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。业余时间喜爱翻译创作,翻译作品主要有:IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等,其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组,希望能和大家一起交流分享,共同进步。
翻译组招募信息
工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。
你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。
其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。
点击文末“阅读原文”加入数据派团队~
转载须知
如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:datapi),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。
发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。
点击“阅读原文”拥抱组织
独家 | 机器学习模型应用方法综述相关推荐
- 机器学习方法_机器学习模型应用方法综述
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 来源 | 数据派THU(id:DatapiTHU) 作者:Julien Kervizic 翻译:陈之炎 ...
- 机器学习模型融合方法综述
最近我发现读者群里很多同学都对算法竞赛产生了兴趣,不少人已经开始自发组队,准备打榜Kaggle了.于是我邀请了Kaggle Master贝塔同学,对竞赛中常用的模型融合方法做了一个总体介绍.看完你会对 ...
- 文献记录(part60)--高维模型选择方法综述
学习笔记,仅供参考,有错必纠 关键词:高维数据;模型选择;惩罚因子;降维;调整参数 文章目录 高维模型选择方法综述 摘要 引言 惩罚因子模型选择法 LASSO方法及其推广 LASSO方法 两步法LAS ...
- 深度学习模型压缩方法综述(二)
深度学习模型压缩方法综述(一) 深度学习模型压缩方法综述(二) 深度学习模型压缩方法综述(三) 前言 上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续 ...
- 线性时态逻辑ctl_计算机系统形式化验证中的模型检测方法综述论文
计算机系统形式化验证中的模型检测方法综述论文 1 形式化方法概述 形式化方法是用数学和逻辑的方法来描述和验证系统设计是否满足需求.它将系统属性和系统行为定义在抽象层次上,以形式化的规范语言去描述系统. ...
- LIME:一种解释机器学习模型的方法
在本文中,我们将介绍一种方法,用来解释这篇论文中的任何一种分类器的预测结果,并且用开源包来实现. 动机:我们为什么要理解预测结果? 机器学习如今是非常火的一个话题.随着计算机在围棋等游戏中击败人类专家 ...
- 【机器学习】机器学习模型迭代方法(Python)
一.模型迭代方法 机器学习模型在实际应用的场景,通常要根据新增的数据下进行模型的迭代,常见的模型迭代方法有以下几种: 1.全量数据重新训练一个模型,直接合并历史训练数据与新增的数据,模型直接离线学习全 ...
- 独家 | 在浏览器中使用TensorFlow.js和Python构建机器学习模型(附代码)
作者:MOHD SANAD ZAKI RIZVI 翻译:吴金笛 校对:丁楠雅 本文约5500字,建议阅读15分钟. 本文首先介绍了TensorFlow.js的重要性及其组件,并介绍使用其在浏览器中构建 ...
- linux tensorflow demo_独家 | 在浏览器中使用TensorFlow.js和Python构建机器学习模型(附代码)...
作者:MOHD SANAD ZAKI RIZVI 翻译:吴金笛 校对:丁楠雅 本文约5500字,建议阅读15分钟. 本文首先介绍了TensorFlow.js的重要性及其组件,并介绍使用其在浏览器中构建 ...
最新文章
- 海思3559A上编译LIVE555源码操作步骤
- Linux知识积累(6) 系统目录及其用途
- CSS中常用中文字体的Unicode编码
- leetcode算法题--Group Anagrams
- 批量导出某个简书用户的所有文章列表和文章超链接
- Ubuntu之Docker安装
- Black Hat | PE Tree:BlackBerry 发布PE文件开源逆向工具
- vSphere与Workstation虚拟机交互的几种方法(四)
- ubb码转换的java类库 ubb2html_asp ubb代码转换成html代码
- html 实现商品添加减少,jq实现点击增加或者减少商品数量并且自动计算总价格...
- HTTP协议和APACHE
- 肯德基中国门店将限时发售植物肉汉堡
- vue2.0 基础知识
- 特斯拉model3中控屏怎么关_特斯拉Model 3为什么取消仪表盘?
- python统计英语单词出现次数
- 贴片保险丝如何选型?
- 短信字数的验证JAVA代码
- Google I/O 2012 主题演讲直播(第一天)Android 4.1 Jelly Bean们来了
- YOLOV5模型训练之JSON格式的数据集制作,一个py程序搞,搞不定邮件联系,我帮你!!!!
- 吉利汽车、京东数科、盛美半导体……来了解下科创板排队的“高研值”企业...
热门文章
- 网络广告计费方式常用术语
- Java并发,volatile+不可变容器对象能保证线程安全么?!
- 【HDOJ】1754 I Hate It
- Discriminative Modeling vs Generative Modeling
- 深度剖析WinPcap之(九)——数据包的发送过程(12)
- 16x16点阵汉字c语言,16x16led点阵滚动汉字显示设计。
- 无法打开此程序因为计算机丢失,解决X-Scan安装后“无法启动此程序,因为计算机丢失NPPTools.dll”...
- android media sessiom,如何使用新的MediaSession类在Android 5.x上接收...
- java 工厂模式的写法_[java设计模式] 工厂模式解析
- pmp项目变更的流程图_?跟我学PMP | 项目的变更管理应该怎么做?