2019独角兽企业重金招聘Python工程师标准>>>

MLflow机器学习工作流框架最新进展(2019.3)

MLflow(,https://mlflow.org)是Databricks(Spark的主要开发者)为机器学习开发的流程化框架,用于简化机器学习的训练流程,减少训练实验的工作量。可以通过将训练数据集代入已有的模型,并运行多重实验性测试,然后对输出的结果优选,从而得出最佳的模型参数,并保存为一个可以重用的模型文件。

  • 项目源码:https://github.com/mlflow/mlflow
  • 使用教程:https://www.mlflow.org/docs/latest/tutorial.html

快速使用

安装:

pip install mlflow

运行模型:

git clone https://github.com/mlflow/mlflowpython examples/quickstart/mlflow_tracking.py

查看结果:

mlflow ui

显示Web页面,如下:

最近更新

从去年设立该项目开始,MLflow进展迅速,目前是0.8.2版本,已经开始Beta。

MLflow 0.8.2为Bug修复版本,MLflow 0.8.1 主要改进如下:

  • 增强 UI 响应和载入时间,尤其是当成百上千次运行的实验结果显示。
  • 增强可视化,包括交互 scatter plots用于比较 MLflow运行结果。
  • 扩展支持python评分模块作为 Spark UDFs。更多信息参考 updated documentation for this feature。
  • 缺省情况下,保存 models 将包括Conda environment,包含所有的指定依赖,用于在新的环境载入该模型。

特征:

  • [API/CLI] 支持从ZIP文件运行 MLflow projects  (#759, @jmorefieldexpe)。
  • [Python API] 支持传递 model 的conda environments,作为词典结构在 save_modellog_model 函数中使用 (#748, @dbczumar)。
  • [Models] 缺省的 Anaconda environments已经被添加到多个 Python model flavors。缺省情况下,通过 save_modellog_model 函数产生的模型将包含运行环境参数,其指定了所有的版本化环境信息,对于在如何提供模型服务是必须的。之前,用户必须手工指定。 (#705, #707, #708, #749, @dbczumar)。
  • [Scoring] 支持同步部署模型到 SageMaker (#717, @dbczumar)。
  • [Tracking] 包含 Git repository URL 作为tag,当跟踪 MLflow 运行在 Git repository (#741, @whiletruelearn, @mateiz)。
  • [UI] 改善的 UI 性能,通过使用 react-virtualized 表来优化行的渲染 (#765, #762, #745, @smurching)。
  • [UI] 运行 metrics, tags, 和 parameter 信息时的显著性能提升 (#764, #747, @smurching)。
  • [UI] Scatter plots, 包括运行比较图,现在是交互性的 (#737, @mateiz)。
  • [UI] 扩展的 CSRF 支持,允许 MLflow UI server 指定一系列期望的 headers,客户端可以在AJAX请求时进行设置 (#733, @aarondav)。

Bug 修复与文档更新:

  • [Python/Scoring] MLflow Python 模块生成 Pandas DataFrames 可以 evaluated 为 Spark UDFs,现在正确。Spark UDF 输出包含多类型列也支持了 (#719, @tomasatdatabricks)。
  • [Scoring] 修复了阻止模型为 Azure ML 服务的系列错误,当返回Pandas DataFrames时 (#754, @dbczumar)。
  • [Docs] 新的例子演示 MLflow REST API 可以被用于创建实验和日志的运行信息 (#750, kjahan)。
  • [Docs] R 文档已更新,以反映分类和风格的一致性 (#683, @stbof)。
  • [Docs] 添加用户设置要求的分类,在Databricks上运行 remote MLflow 时 (#736, @andyk)。
  • 其它bug修复和文档更新参见 (#768, #715, @smurching; #728, dodysw; #730, mshr-h; #725, @kryptec; #769, #721, @dbczumar; #714, @stbof)。

更多参考:

  • Spark机器学习工具链-MLflow简介
  • Spark机器学习工具链-MLflow使用教程
  • 为JupyterHub自定义Notebook Images
  • Databook-数据之书

转载于:https://my.oschina.net/u/2306127/blog/3017250

MLflow机器学习工作流框架更新(2019.3)相关推荐

  1. MLFlow︱机器学习工作流框架:介绍(一)

    文章目录 1 DataOps.MLOps 和 AIOps,你要的是哪个Ops? 2 MLFlow 2.1 MLFlow优势 2.2 MLFlow劣势 2.3 MLFlow 和 AirFlow的差异 2 ...

  2. MLFlow︱机器学习工作流框架:MLFlow docker 实践(二)

    文章目录 1 mlflow Dockerfile 2 训练模型 3 对比模型 4 打包模型 5 模型部署 6 模型inference调用 mlflow的安装与使用,可以直接: pip install ...

  3. 如何在机器学习的框架里实现隐私保护?

    编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...

  4. bilibili基于 Flink 的机器学习工作流平台在 b 站的应用

    简介:介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用. 分享嘉宾:张杨,B 站资深开发工程师 导读:整个机器学习的过程,从数据上报.到特征计算.到模型训练.再到线上 ...

  5. 《Activiti工作流框架》专题(一)-Activiti工作流框架基础入门

    文章目录 1. 工作流简述 1.1.工作流是什么 1.2.哪些行业需要工作流 1.3.工作流系统的使用 2.常见的工作流框架 3.Activti的历史简介 4.重要的名词解释 4.1.工作流引擎 4. ...

  6. 微软研究院:如何在机器学习的框架里实现隐私保护?

    编者按:数据时代,人们从技术中获取便利的同时,也面临着隐私泄露的风险.微软倡导负责任的人工智能,因此机器学习中的隐私保护问题至关重要.本文介绍了目前机器学习中隐私保护领域的最新研究进展,讨论了机密计算 ...

  7. Scikit-learn 核心开发人员专访:建立机器学习工作流最容易犯这2点错误

    导语:Scikit learn的开发者分享了3种实用的ML技术 本文是一篇对 Scikit-learn 开发者的专访,原载于 towardsdatascience,AI 开发者编译整理,采访内容如下文 ...

  8. Meson:支持Netflix的机器学习工作流

    Netflix的目标是能预测顾客之所想观看的电影,也即推荐预测.为了做到这一点,每天会运行大量机器学习工作流,而为了支撑创建这么多机器学习工作流和有效利用资源,Netflix的工程师开发了Meson. ...

  9. 入门之路:“机器学习初学者”公众号2019年的精选原创文章

    "机器学习初学者"公众号2019年的精选原创文章合集,适合初学者入门 AI.本文建议用微信收藏,用碎片时间学习.(黄海广) 导语 AI 初学者最大的问题就是:资料太多!!!看不完! ...

最新文章

  1. xilinx IP核之ROM
  2. cubase怎么添加midi设备_Cubase教程丨20分钟快速上手Cubase(下)
  3. jQuery中$(document).ready()和window.onload的区别?
  4. java并发编程实践(1)intro
  5. 快速通过软件设计师考试方法
  6. 可能是迄今为止最好的GitHub代码浏览插件--赞
  7. lr中错误解决方法(收集)
  8. 21. jQuery 遍历 - 后代
  9. ArcGIS 10.7安装包及手把手安装教程
  10. win10安装k8s
  11. 大学计算机应用基础第二版习题答案,《大学计算机应用基础》各章习题参考答案...
  12. 1.2. Linear and Quadratic Discriminant Analysis(线性判别和二次判别分析)(一)
  13. base64编码图片替换url图片
  14. 面经-软件测试面试常见面试题全套合集系列4-2
  15. 在人一生的成长过程中,什么才是最重要的因素?
  16. VBA用字典实现分类汇总(一)
  17. android Jetpack StateFlow使用
  18. 【Visual Studio】创建并使用静态库(.lib)
  19. C++11中静态局部变量初始化的线程安全性
  20. Unhandled exception at 0x00007FFE7BFD8A5C in wb.exe: Microsoft C++ exception: std::out_of_range at m

热门文章

  1. 今天升级Xcode 7.0 bata发现网络访问失败。
  2. Web Session和Cookie
  3. activiti官网实例项目activiti-explorer之扩展流程节点属性
  4. 牛客网多校第9场 E Music Game 【思维+数学期望】
  5. UIKit框架之NSObject
  6. 秋凉了,大家别加班了,早回吧:)
  7. pycharm如何解决新建的文件没有后缀的问题
  8. Nginx解决前端调用后端接口跨域问题
  9. jmeter报“msg“:“Content type ‘application/x-www-form-urlencoded;charset=UTF-8‘ not supported“的解决方法
  10. 【报告分享】2019云安全威胁报告.pdf(附下载链接)