MLflow机器学习工作流框架更新(2019.3)
2019独角兽企业重金招聘Python工程师标准>>>
MLflow机器学习工作流框架最新进展(2019.3)
MLflow(,https://mlflow.org)是Databricks(Spark的主要开发者)为机器学习开发的流程化框架,用于简化机器学习的训练流程,减少训练实验的工作量。可以通过将训练数据集代入已有的模型,并运行多重实验性测试,然后对输出的结果优选,从而得出最佳的模型参数,并保存为一个可以重用的模型文件。
- 项目源码:https://github.com/mlflow/mlflow
- 使用教程:https://www.mlflow.org/docs/latest/tutorial.html
快速使用
安装:
pip install mlflow
运行模型:
git clone https://github.com/mlflow/mlflowpython examples/quickstart/mlflow_tracking.py
查看结果:
mlflow ui
显示Web页面,如下:
最近更新
从去年设立该项目开始,MLflow进展迅速,目前是0.8.2版本,已经开始Beta。
MLflow 0.8.2为Bug修复版本,MLflow 0.8.1 主要改进如下:
- 增强 UI 响应和载入时间,尤其是当成百上千次运行的实验结果显示。
- 增强可视化,包括交互 scatter plots用于比较 MLflow运行结果。
- 扩展支持python评分模块作为 Spark UDFs。更多信息参考 updated documentation for this feature。
- 缺省情况下,保存 models 将包括Conda environment,包含所有的指定依赖,用于在新的环境载入该模型。
特征:
- [API/CLI] 支持从ZIP文件运行 MLflow projects (#759, @jmorefieldexpe)。
- [Python API] 支持传递 model 的conda environments,作为词典结构在
save_model
和log_model
函数中使用 (#748, @dbczumar)。 - [Models] 缺省的 Anaconda environments已经被添加到多个 Python model flavors。缺省情况下,通过
save_model
和log_model
函数产生的模型将包含运行环境参数,其指定了所有的版本化环境信息,对于在如何提供模型服务是必须的。之前,用户必须手工指定。 (#705, #707, #708, #749, @dbczumar)。 - [Scoring] 支持同步部署模型到 SageMaker (#717, @dbczumar)。
- [Tracking] 包含 Git repository URL 作为tag,当跟踪 MLflow 运行在 Git repository (#741, @whiletruelearn, @mateiz)。
- [UI] 改善的 UI 性能,通过使用 react-virtualized 表来优化行的渲染 (#765, #762, #745, @smurching)。
- [UI] 运行 metrics, tags, 和 parameter 信息时的显著性能提升 (#764, #747, @smurching)。
- [UI] Scatter plots, 包括运行比较图,现在是交互性的 (#737, @mateiz)。
- [UI] 扩展的 CSRF 支持,允许 MLflow UI server 指定一系列期望的 headers,客户端可以在AJAX请求时进行设置 (#733, @aarondav)。
Bug 修复与文档更新:
- [Python/Scoring] MLflow Python 模块生成 Pandas DataFrames 可以 evaluated 为 Spark UDFs,现在正确。Spark UDF 输出包含多类型列也支持了 (#719, @tomasatdatabricks)。
- [Scoring] 修复了阻止模型为 Azure ML 服务的系列错误,当返回Pandas DataFrames时 (#754, @dbczumar)。
- [Docs] 新的例子演示 MLflow REST API 可以被用于创建实验和日志的运行信息 (#750, kjahan)。
- [Docs] R 文档已更新,以反映分类和风格的一致性 (#683, @stbof)。
- [Docs] 添加用户设置要求的分类,在Databricks上运行 remote MLflow 时 (#736, @andyk)。
- 其它bug修复和文档更新参见 (#768, #715, @smurching; #728, dodysw; #730, mshr-h; #725, @kryptec; #769, #721, @dbczumar; #714, @stbof)。
更多参考:
- Spark机器学习工具链-MLflow简介
- Spark机器学习工具链-MLflow使用教程
- 为JupyterHub自定义Notebook Images
- Databook-数据之书
转载于:https://my.oschina.net/u/2306127/blog/3017250
MLflow机器学习工作流框架更新(2019.3)相关推荐
- MLFlow︱机器学习工作流框架:介绍(一)
文章目录 1 DataOps.MLOps 和 AIOps,你要的是哪个Ops? 2 MLFlow 2.1 MLFlow优势 2.2 MLFlow劣势 2.3 MLFlow 和 AirFlow的差异 2 ...
- MLFlow︱机器学习工作流框架:MLFlow docker 实践(二)
文章目录 1 mlflow Dockerfile 2 训练模型 3 对比模型 4 打包模型 5 模型部署 6 模型inference调用 mlflow的安装与使用,可以直接: pip install ...
- 如何在机器学习的框架里实现隐私保护?
编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...
- bilibili基于 Flink 的机器学习工作流平台在 b 站的应用
简介:介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用. 分享嘉宾:张杨,B 站资深开发工程师 导读:整个机器学习的过程,从数据上报.到特征计算.到模型训练.再到线上 ...
- 《Activiti工作流框架》专题(一)-Activiti工作流框架基础入门
文章目录 1. 工作流简述 1.1.工作流是什么 1.2.哪些行业需要工作流 1.3.工作流系统的使用 2.常见的工作流框架 3.Activti的历史简介 4.重要的名词解释 4.1.工作流引擎 4. ...
- 微软研究院:如何在机器学习的框架里实现隐私保护?
编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...
- Scikit-learn 核心开发人员专访:建立机器学习工作流最容易犯这2点错误
导语:Scikit learn的开发者分享了3种实用的ML技术 本文是一篇对 Scikit-learn 开发者的专访,原载于 towardsdatascience,AI 开发者编译整理,采访内容如下文 ...
- Meson:支持Netflix的机器学习工作流
Netflix的目标是能预测顾客之所想观看的电影,也即推荐预测.为了做到这一点,每天会运行大量机器学习工作流,而为了支撑创建这么多机器学习工作流和有效利用资源,Netflix的工程师开发了Meson. ...
- 入门之路:“机器学习初学者”公众号2019年的精选原创文章
"机器学习初学者"公众号2019年的精选原创文章合集,适合初学者入门 AI.本文建议用微信收藏,用碎片时间学习.(黄海广) 导语 AI 初学者最大的问题就是:资料太多!!!看不完! ...
最新文章
- xilinx IP核之ROM
- cubase怎么添加midi设备_Cubase教程丨20分钟快速上手Cubase(下)
- jQuery中$(document).ready()和window.onload的区别?
- java并发编程实践(1)intro
- 快速通过软件设计师考试方法
- 可能是迄今为止最好的GitHub代码浏览插件--赞
- lr中错误解决方法(收集)
- 21. jQuery 遍历 - 后代
- ArcGIS 10.7安装包及手把手安装教程
- win10安装k8s
- 大学计算机应用基础第二版习题答案,《大学计算机应用基础》各章习题参考答案...
- 1.2. Linear and Quadratic Discriminant Analysis(线性判别和二次判别分析)(一)
- base64编码图片替换url图片
- 面经-软件测试面试常见面试题全套合集系列4-2
- 在人一生的成长过程中,什么才是最重要的因素?
- VBA用字典实现分类汇总(一)
- android Jetpack StateFlow使用
- 【Visual Studio】创建并使用静态库(.lib)
- C++11中静态局部变量初始化的线程安全性
- Unhandled exception at 0x00007FFE7BFD8A5C in wb.exe: Microsoft C++ exception: std::out_of_range at m
热门文章
- 今天升级Xcode 7.0 bata发现网络访问失败。
- Web Session和Cookie
- activiti官网实例项目activiti-explorer之扩展流程节点属性
- 牛客网多校第9场 E	Music Game 【思维+数学期望】
- UIKit框架之NSObject
- 秋凉了,大家别加班了,早回吧:)
- pycharm如何解决新建的文件没有后缀的问题
- Nginx解决前端调用后端接口跨域问题
- jmeter报“msg“:“Content type ‘application/x-www-form-urlencoded;charset=UTF-8‘ not supported“的解决方法
- 【报告分享】2019云安全威胁报告.pdf(附下载链接)