Uber最新开源Manifold,助力机器学习开发者的可视化与调试需求
所有参与投票的 CSDN 用户都参加抽奖活动
群内公布奖项,还有更多福利赠送
作者 | Lezhi Li
译者 | 凯隐
编辑 | Jane
出品 | AI科技大本营(ID:rgznai100)
【导语】2019 年 1 月,Uber 推出了 Manifold,一款与模型无关的机器学习可视化调试工具,可以用来识别 ML 模型中存在的问题。为了让其他 ML 实践者也能从这个工具中获益,近日,Uber 宣布将 Manifold 作为一个开源项目发布。今天,AI科技大本营(ID:rgznai100)就为各位开发者朋友们介绍这一开源工具的新情况。
Manifold简介
Manifold 可帮助工程师和科学家通过 ML 数据片和模型可视化来识别模型性能问题,并通过分析数据子集间的特征分布差异来诊断其根本原因。在 Uber 内部,Manifold 已经成为机器学习平台 Michelangelo 的组成部分,并且已经帮助 Uber 的各个产品团队分析和调试 ML 模型的性能。
此前,Uber 官方博客上重点介绍这个项目后,Uber 不断从社区中收到了许多关于 Manifold 在通用 ML 模型调试场景中潜在能力的反馈,因此在开源 Manifold 的独立版本中,相信它也能通过为 ML 工作流提供可解释性和可调试性这一特性使 ML 社区受益。
开源后第一版中的新特性
在 Manifold 的第一个开源版本中,Uber 官方为其添加了多个新特性,使模型调试比内部迭代更加容易。
版本 1 中的特性有:
1、支持通用的二分类和回归模型调试。用户可以通过分析和对比使用各种不同算法的模型,来辨别不同数据切片带来的性能差异。
2、可视化支持表格特征输入,包括数值,分类,以及地理空间类型特征。利用每个数据切片的特征值分布信息,用户可以更好地了解某些性能问题的潜在原因,例如模型模型的预测损失是否与数据点的地理位置和分布存在相关性。
图1、Manifold新功能,支持对地理空间特征的可视化
3、集成在Jupyter Notebook中。通过集成在 Notebook 中,Manifold 可以接收 Pandas Dataframe 对象作为数据输入,并在 Notebook 内部进行数据可视化。Jupyter Notebook 是数据科学家和 ML 工程师使用最广泛的数据科学平台之一,因此这种集成可以让用户在不影响正常工作流程的情况下用 Manifold 分析他们的模型。
图2、Manifold 集成在 Jupyter Notebook 中,接受 Pandas DataFrame 对象数据为输入,并在 Jupyter Notebook UI 中呈现可视化效果
4、基于单样本预测损失和其他特性值的交互式数据切片和性能比较。用户将能够根据预测损失、标签或其他感兴趣的特征值对数据进行切片和查询。此功能将使用户能够通过灵活的数据切片逻辑快速验证或否定他们的假设。
图3、基于单样本的预测损失和其他特征值的交互式数据切片,让用户能更好的理解ML模型的性能问题
开始使用Manifold
Manifold 的开源版本提供了一个 npm 包版本,对于 Jupyter Notebook 绑定,则提供一个Python 版本。要开始使用,请遵循 github repo 中的文档并在本地安装它,或者查看我们的演示网站。我们鼓励您对 Manifold 进行个人尝试,并期待收到您的反馈!
原文链接:
https://eng.uber.com/manifold-open-source/
(*本文为AI科技大本营编译文章,转载请微信联系1092722531)
◆
精彩推荐
◆
2020年,由 CSDN 主办的「Python开发者日」活动(Python Day)正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作,联手顶尖企业、行业与技术专家,通过精彩的技术干货内容、有趣多元化的活动等诸多体验,共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来,我们和中国万千开发者一起分享技术、践行技术,铸就中国原创技术力量。
【Python Day——北京站】现已正式启动,「新春早鸟票」火热开抢!2020年,我们还将在全国多个城市举办巡回活动,敬请期待!
活动咨询,可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人,无法自动进入,可添加会议小助手微信:婷婷,151 0101 4297(电话同微信)
推荐阅读
170个新项目,579个活跃代码仓库,Facebook开源年度回顾
滴滴章文嵩:一个人的20年开源热情和国内互联网开源运动
掌握 8 种语言、被阿里点赞,这名德国程序员简直开挂了!
为什么 k8s 在阿里能成功?| 问底中国 IT 技术演进
K8s 实践 | 如何解决多租户集群的安全隔离问题?
你点的每个“在看”,我都认真当成了AI
Uber最新开源Manifold,助力机器学习开发者的可视化与调试需求相关推荐
- FlyAI资讯:Uber正式开源分布式机器学习平台:Fiber
摘要:在过去的几年中,计算机不断增强的处理能力推动了机器学习的进步.算法越来越多地利用并行性,并依赖分布式训练来处理大量数据.然而,随之而来的是增加数据和训练的需求,这对管理和利用大规模计算资源的软件 ...
- 浅谈字节最新开源联邦机器学习平台Fedlearner
最近联邦机器学习越来越火,字节也正式对外宣讲开源了联邦机器学习平台Fedlearner.这次头条开源的Fedlearner与我之前分析过得华为.微众的联邦机器学习平台有什么不同呢?主要体现在以下几个方 ...
- 我为开放原子全球开源峰会助力
我为开放原子全球开源峰会助力 6月11日,以"开源赋能,普惠未来"为主题的2023开放原子全球开源峰会开幕式暨高峰论坛在北京成功举办. 本次峰会由开放原子开源基金会.北京市经济和信 ...
- 最新开源的目标检测算法来了!
Datawhale开源 方向:目标检测开源项目 说到目标检测,那可谓当前的自动驾驶.新零售.智慧工业等热门行业中的关键技术之一.目标检测不仅在行人.车辆.商品以及火灾检测等任务中发挥着极其关键的价值, ...
- 谷歌15个人工智能开源免费项目!开发者:懂了
2019-11-21 14:37:20 关于人工智能的开源项目,相信开发者们已经目睹过不少了,Github上也有大把的资源.不过笔者今天说的并非来自Github,而是来自科技"大厂" ...
- 机器学习开发者的现代化路径:不需要从统计学微积分开始
时间:2015-08-27 01:23 作者:Jason Brownlee [编者按]机器学习算法的传统学习路径,是从统计学.概率论.线性代数.微积分等多种数学知识开始,但专业程序员.机器学习爱好者. ...
- HarmonyOS 2.0:正式开源,年底面向开发者发布智能手机 Beta 版本
北京时间 9 月 10 日,华为开发者大会 2020(Together)今天在东莞松山湖拉开帷幕.在大会的主题演讲中,华为带来了 HarmonyOS 2.0.EMUI 11.HMS.HUAWEI Hi ...
- 微软又开源了一个机器学习框架,这次是核心产品的机器学习引擎infer.NET
乾明 整理编译自 Microsoft Research Blog 量子位 报道 | 公众号 QbitAI 感觉微软对开源上瘾了. 在开源了跨平台机器学习框架ML.NET之后,微软又开源了一个非常重要的 ...
- 企业微信开源系统,让开发者快速搭建基于企业微信的私域流量运营系统
"经过行业的实战应用,企业微信已经成为"私域流量"运营的主要工具" 尽管现在基于企业微信开发的第三方产品处于一个百家争鸣的时代,但仍旧未能看到一个开源的.真正为 ...
最新文章
- spring定时每天早上八点_Spring Boot教程(13) – 简单定时任务
- 解吧源码解析重点看withWeight
- pytorch微调bert_香侬读 | RoBERT: 没错,我就是能更强——更大数据规模和仔细调参下的最优BERT
- 数据库主键自增插入显示值
- 高清壁纸:60款可爱的圣诞节电脑桌面壁纸《下篇》
- arm-none-linux-gnueabi-gcc:未找到命令,“make: arm-none-linux-gnueabi-gcc:命令未找到”
- 40张图揭秘,「键入网址发生了什么」
- 没事做贴个代码,判断是否素数,顺便打个素数表(非原创)。
- 【信息系统项目管理师】第2章-信息系统项目管理基础 知识点详细整理
- 联机交易场景持续拓展,巨杉数据库中标吉林省农信
- oracle数据库架构视频教程,Oracle数据库体系架构_oracle架构_oracle学习视频_oracle数据库_课课家...
- 产品经理技能学习:流程图绘制及规范
- win7,win8系统为什么灵格斯老与office,adobe等软件冲突,怎么解决
- 面试总结:Golang常见面试题汇总
- lua遍历目录下所有文件
- 违停现场执法的人性化解决之道
- json文件怎么写注释
- Python开发环境之pyenv环境搭建
- 高球嘉年华:2021高博会非去不可的六个理由
- 闻伟拟将团车网私有化:7个季度亏损接近3亿元,有股东大幅减持
热门文章
- 《算法技术手册》一2.4.6 二次方的算法性能
- 图书管理系统5W1H
- 最大匹配、最小顶点覆盖、最大独立集、最小路径覆盖(转)
- Windows下Mysql主从配置(Mysql5.5)
- Linux中源码包的管理
- myeclipse莫名其妙的问题
- Java多线程常见面试题及答案汇总1000道(春招+秋招+社招)
- android webview单向认证,android 让webview支持自签名证书https 双向认证(SSL)
- CF949C Data Center Maintenance(建图+强联通分量)
- 树状数组 | 1057