近日,美国视频流媒体平台及视频出版制作公司 Netflix 网飞的数据科学团队宣布正式开源其 Python 库 Metaflow,以帮助更多数据科学家与工程师构建、管理相关的数据科学项目。

Metaflow 是网飞开发的「人性化」数据科学框架,同时也是其机器学习基础架构的重要组成部分,它提供了统一的架构栈接口,还与当前主流的 Python 数据科学框架如 PyTorch、Tensorflow、SciKit Learn 互相兼容,可用于加速数据科学工作流的构建及部署。数据科学家们可以通过 Metaflow 来提升从经典统计学到深度学习等各种数据科学相关项目的开发效率。

网飞作为全球规模最大的在线视频网站,已在其各个方面的业务中使用了机器学习技术,比如影视剧剧本分析、视频制作排期优化、流失预测、定价、翻译、大规模分发网络优化等等。在过去的两年时间中,Metaflow 已在 Netflix 内部应用于上百个涉及自然语言处理、运筹学等相关项目的构建与管理。

据网飞的软件开发工程师透露,Metaflow 最初的开发目的,是为了帮助那些想要通过 Python 代码来表达业务逻辑,但又不愿意在软件工程方面的事情上耗费太多时间的数据科学家们提升工作效率。这些软件工程方面的麻烦事包括思考对象层次结构以及封装问题,或是处理难以理解的、与项目本身无关的接口等等。

网飞的数据科学家们能通过 Metaflow 快速确定原始模型是否会在生产环境中运算失败,以便提前修改错误缩短部署时间。Metaflow 已经可以将项目部署时间的中位数从 4 个月缩短至 7 天。

此外,Metaflow 是一个云原生框架,可充分利用云服务在存储与计算上的灵活性。而亚马逊云服务 AWS 也为 Metaflow 提供了基础设施支持以及其他的内置集成的存储与机器学习服务,支持在 Amazon S3 中对 Metaflow 的所有数据与代码进行快照,并将其当做数据湖来使用。Metaflow 还捆绑了一个高性能 Amazon S3 客户端,能够以 10Gbps 的速度加载数据。

对于开发者来说,借助更多来自 AWS 的计算资源,Metaflow 可显著提高使用笔记本电脑进行开发的速度。Metaflow 不会在每种状态下都对代码或库进行修改,从而更轻松地在本地与远程执行模式之间进行变换,更容易排除错误。

目前,Metaflow 的最新版本 2.0 已在 GitHub 上线,并获得了超过 1900 个 Star,以及 121 次 Fork。

GitHub 相关项目地址:

python支持向量机框架_Netflix 内部 Python 框架 Metaflow 正式开源,可加速机器学习模型部署...相关推荐

  1. python支持向量机库安装,使用python学习【机器学习】需要安装的库~

    该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 ----------------------------------------------------------------------------- ...

  2. python支持向量机回归_用Python实现支持向量机并处理Iris数据集

    SVM全称是Support Vector Machine,即支持向量机,是一种监督式学习算法.它主要应用于分类问题,通过改进代码也可以用作回归.所谓支持向量就是距离分隔面最近的向量.支持向量机就是要确 ...

  3. python支持向量机分类器怎么用_可视化SVM分类器开源实现的python代码

    如下的Python代码是可视化SVM分类器开源实现的python代码.这是个小巧又简单,却不一定满足大家高效要求的具有可视化功能的SVM分类器源码.是采用标准python写成的,但如果需要作图功能,则 ...

  4. python机器学习手写字体识别_Python 3 利用机器学习模型 进行手写体数字检测

    0.引言 介绍了如何生成手写体数字的数据,提取特征,借助 sklearn 机器学习模型建模,进行识别手写体数字 1-9 模型的建立和测试. 用到的几种模型: 1. LR,Logistic Regres ...

  5. 怎么把python模型部署到线上_如何将机器学习模型成功部署到.Net环境中

    [IT168 技术]Python和R语言是在数据工程师间最流行的编程语言,但是,它并不能适用于应用程序构建的所有部分.这也就是你为什么有时需要找到一种方法,将Python或R编写的机器学习模型部署到基 ...

  6. python api测试框架_python api 测试框架

    python常用框架 Django: Python Web应用开发框架 Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响.Django是走大而全的方向,它最出名的是 ...

  7. python学习第八天---用Django框架创建可重用注册登录系统

    python学习第八天---用Django框架创建可重用注册登录系统 实现的功能 项目开始前的整体规划 搭建环境完成基础配置 创建app 更改语言和时区 数据库表生成 启动开发服务器 浏览器访问,检测 ...

  8. python面试题解析(前端、框架和其他)

    答: HTTP是一个属于应用层的面向对象的协议,由于其简捷.快速的方式,适用于分布式超媒体信息系统.它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展.目前在WWW中使用的是HTTP/1. ...

  9. 五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

    五节课从零起步  (无需数学和Python 基础)  编码实现AI 人工智能框架          王  家  林        2018/4/15                          ...

最新文章

  1. 服务器配置—开网站空间
  2. mysql做前端_MySQL 还可以这样做
  3. Java进阶之光!mysql安装包安装教程
  4. 三类基于贪心思想的区间覆盖问题
  5. 立志10天学会C++基础应用—day02 代码清晰易懂 涉及数据结构算法的知识 写完了~我也麻了
  6. 7-125 切分表达式——写个tokenizer吧 (20 分)
  7. EF mysql 数据迁移_Asp.Net Core EFCore Migrations 数据迁移
  8. 玩转 Springboot 2 之热部署(DevTools)
  9. MySQL数据库和表名大小写敏感开关的打开办法
  10. 十一假期博客活动 好礼不断惊喜连连
  11. 分布式-图片上传到Lgnix
  12. mac下安装wxPython2.8.12.1方法
  13. Ant design vue 表格合并 合并行 合并列
  14. 看球二三事 - 世界杯征文
  15. “土地信息+”能否激发千亿大数据应用市场
  16. 微信防撤回dll文件制作
  17. 微信群聊图灵机器人 复制直接用
  18. 使用手机调试Android软件
  19. 爬取QQ音乐周杰伦歌曲的歌词
  20. 四极管:WaitForMultipleObjects的疑惑

热门文章

  1. yii框架学习(五)get、post请求如何接收请求参数
  2. 基于angular2实现用户登录并信息持久化的一些理解(二)
  3. Configure Drill
  4. Mybatis 工作总结 持续更新
  5. Microsoft StreamInsight 构建物联网
  6. RFC2616中文版(9)方法定义
  7. Google的系统工程师(SA)如何工作
  8. c# equals与==的区别
  9. python制作酷炫动画_厉害了!Python+matplotlib制作8个排序算法的动画
  10. python写http文件下载器_http分片请求-python分片下载文件