一站式机器学习平台TI-ONE是什么?——云+未来峰会开发者专场回顾
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~
背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。
腾讯云AI平台技术负责人王才华博士在腾讯“云+未来”峰会的「开发者专场」做了主题为“智能钛・一站式机器学习 TI-ONE:腾讯云上的机器(深度)学习IDE”的技术内容分享。
最近大家有没有看漫威的《复仇者联盟3》?其中钢铁侠的战甲就是用金属钛制造的,钛具有质量轻,高强度的特点,而TI-ONE是人工智能平台,因此我们用了科技感十足的名字“智能钛”来形容它。
首先说说为什么需要TI-ONE?
人工智能的重要性不需要我再强调,Andrew Ng 在Spark Summit 2017上提出《AI: The new Electricity》. 各大公司也相争提出自己的机器学习平台,比如说微软的CNTK,Google的Tensorflow等等。但是回答为什么需要TI-ONE这个问题,还要从云计算的特点和机器学习的生命周期出发。在云上,我们偏向云服务化,基础设施服务化,平台服务化,算法服务化,机器学习算法也不例外。
但是机器学算法有一个漫长的生命周期,从数据获取到数据预处理再到选择一个框架并编写算法,然后训练得到一个模型,最后用这个模型进行预测。在云上我们还要对模型进行服务化。如此漫长的过程,所以我们需要加速机器学习的生命周期,加速模型的服务化,这就是我们需要TI-ONE的原因。
具体而言,TI-ONE提供了如下功能:
首先整合了数据预处理平台,提高数据预处理效率。
支持主流机器学习框架,内置常用算法,以拖拽的方式就能完成算法开发。
支持自动调参,支持多个层面的协作,支持了一键模型部署和服务化,还有在线推理。
用开发者的语言来说, TI-ONE就是腾讯云上的机器学习IDE。
什么是TI-ONE?
我将从架构,工作流,调参,协作,部署等这几个方面进行分享。
TI-ONE是一个层次架构,最下层是COS存储层,存储层之上是GaiaStack资源调度层,GaiaStack赋予TI One很多商业特性,后面我会展开分享。调度层之上是架构层,我们整合了Tensorflow,PyTorch,XGBoost,Angel和Spark等,其中Angel是腾讯自研的,Spark是腾讯增强的。算法方面,我们集成了大量的常用算法,既有CNN、RNN、DBN等深度学习算法,也有的GBDT、FFM等传统机器学习算法。用户可以用这些算法训练自己的模型,支持业务,比如图象识别、语音识别、精准推荐和实时风控等等。
TI-ONE为用户提供了一个图形化开发界面,以拖拽方式就能开发一个机器学习算法,这里我给一个例子,
- 从COS层或本地文件系统中获得数据
- 对数据进行预处理
- 对数据进行切分,这里需要指出的是,这里是将数据切分成训练集和验证集,而不是测试集
- 然后用拖拽的方式选择一种算法,以逻揖回归为例
- 设置算法需要的参数
- 训练得到模型
如果要验证这个算法也很简单,只要:
- 从存储层中获得数据
- 对数据进行预处理
- 输入到模型
- 算法评估
运行完成后会给出混淆矩阵和AUC值。
调参是机器学习的重要环节,而且非常具有技巧性,TI-ONE提供了自动化的调参工具,特点是通过参数组合产生多个实例,然后并行运行这些实例,从这些实例中选出效果最好的一个。
举个例子,假设你要训练一个随机森林,你要决定森林中树的棵数和训练每棵树所需要的特征数,只要给定一个参数组合,然后交给TI-ONE,TI-ONE可以帮你选择最好的组合。在另一些情况下,我们可能需要对一些正则化超参调优,我们只要给定一个范围,然后交给TI-ONE,TI-ONE就可以帮助我们选择最优的参数。
协作对于机器学习也很重要,TI-ONE提供了多个层面的协作。
第一是模型层面的分享,训练好的模型可以分享给你的同事。比如你们俩同时对同一个业务开发算法,想比较谁的精度更高,就可以互相分享这个模型。
第二是工作流层面的分享,工作流就是机器学习生命周期,分享工作流,就是分享整个机器学习生命周期。假设你前面做了一个皮肤推荐的任务,后来要做装备推荐的任务,基本上只要小改动就可以了。
第三是服务层面的共享,模型部署好后还可以共享,你可以把模型分享给后台人员,让他(她)帮你定位问题。
部署和服务是云上机器学习和传统学习的不同之处。TI-ONE提供了一键式部署工具。我们可以将训练好的模型部署成Application, 然后装载成多个实例,一个实例中还允许有不同版本。第三方的用户和模型的开发者就可以用REST API去调用,非常方便。
前面我们讲了TI-ONE的特点,开发者肯定想知道它背后的设计之道。我喜欢用冰山理论来解释事物背后的原理,前面看到的不管是工作流,还是调参,协作和部署工具,这些只是冰山一角,水下面是什么呢?
我们认为一部分原因是整合,我们整合了COS存储,整合了GaiaStack调度,整合了常用的机器学习框架和算法,但是仅仅整合还是不够,我们还需要自主研究构建差异化的竞争力,这个就是TI-ONE的特别之处。
第一个特别之处是Angel,Angel腾讯自研的机器学习的框架,它克服了Spark将模型放在单个节点的不足,通过对底层数学库的优化,它可以支持万亿级参数的模型,放眼业界,能支持如此大模型的计算框架也是凤毛菱角。
算法方面,我们实现了常用的传统机器学习算法,比如逻辑回归,SVM等等,其中还有一些是我们原创的, 如LAD* 就是我们发表在VLDB上的成果。
性能方面,我们比较了Angel和Spark, XGBoost等平台,发现Angel性能表现非常强悍。有些算法的性能是Spark的20+倍。
第二个特别之处是图计算算法,我们知道图计算领域有三个主要玩家,即Pregel,GraphLab,和GraphX,而Pregel是谷歌闭源,GraphLab是商业软件,只有GraphX是开源软件。但是GraphX更新慢,算法少,鉴于这种情况,我们就基于GraphX增加了很多图计算算法,有节点评价算法,社区发现算法,统计特征算法,经过细致的优化,这些算法都支持了千亿级规模的关系链。
第三个特别之处是支持用户自定义算法,前面提到我们集成了非常多的算法,有深度学习算法,也有传统学习机器算法,有回归算法,有分类算法,推荐算法等等,但是对于一些高级用户来说还是不够,所以我们允许用户自定义算法到TI-ONE执行,虽然是一个小功能,但是给用户带来很大的灵活性。
前面我们谈到了TI-ONE的功能和特别之处,现在要谈一谈商业用户比较关心的性质,严格来讲这个性质不是TI-ONE本身的,而是GaiaStack赋予的。
第一个是专用集群,当用户数据量较大时,我们可以提供多个完整集群让他使用,当用户的数据比较小的时候,可以多个用户共享集群,我们做了很好的多租户,用户的资源和数据隔离。支持热升级,业务不中断,用户无感知。支持主备自动切换的高可用,当服务量增大时,会自动加载新的实例,并自动负载均衡。
最后我们看看用户,我们公司内外都有很多的用户,在公司内比如腾讯游戏、微信、应用宝、QQ音乐等等都是我们的用户。
最后发个福利,大家可以通过扫码来获得试用或者文档。
更多有关TI-ONE详情,请点击下方获取。
TIOne腾讯云上的深度学习平台.pdf
问答
是否有.NET机器学习库,例如,可以为一个问题建议标记?
相关阅读
安利10个有趣实用的人工智能开源项目
区块链、人工智能和物联网之间是什么关系?
图像分析那些事︱AI来了
此文已由作者授权腾讯云+社区发布,原文链接:https://cloud.tencent.com/developer/article/1136172?fromSource=waitui
转载于:https://www.cnblogs.com/qcloud1001/p/9109423.html
一站式机器学习平台TI-ONE是什么?——云+未来峰会开发者专场回顾相关推荐
- TXSQL:云计算时代数据库核弹头——云+未来峰会开发者专场回顾
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海内外业 ...
- TXSQL:云计算时代数据库核弹头——云+未来峰会开发者专场回顾 1
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海内外业 ...
- “云上金融,智创未来” 腾讯“云+未来”峰会金融专场在广州举行
5月24日,腾讯"云+未来"峰会金融专场在广州举行.来自央行.腾讯公司以及银行.证券.保险.互金公司等腾讯金融云的合作伙伴代表以及行业专家,共同分享了智慧+金融.企业数字化转型.腾 ...
- 云+未来峰会安全专场总结:智慧安全护航企业数字化转型
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 5月23日-24日,2018腾讯"云+未来"峰会在广州举行.在24日的安全专场,腾讯云携手多位业内专家探讨了云计算.AI ...
- 美团十年,支撑最大规模外卖配送的一站式机器学习平台如何炼成?
作者 | 艳伟,美团配送技术团队资深技术专家 编辑 | 唐小引 题图 | 东方 IC AI 是目前互联网行业炙手可热的"明星",无论是老牌巨头,还是流量新贵,都在大力研发 AI 技 ...
- 一站式机器学习平台建设实践
本文根据美团配送资深技术专家郑艳伟在2019 SACC(中国系统架构师大会)上的演讲内容整理而成,主要介绍了美团配送技术团队在建设一站式机器学习平台过程中的经验总结和探索,希望对从事此领域的同学有所帮 ...
- 美团十年,支撑全球最大规模外卖配送的一站式机器学习平台是如何炼成的?...
作者 | 艳伟,美团配送技术团队资深技术专家 责编 | 唐小引 封图 | CSDN 下载自东方 IC 本文为美团技术团队投稿 AI 是目前互联网行业炙手可热的"明星",无论是老牌巨 ...
- 腾讯太极广告一站式机器学习平台的产品化之路
| 文章来源于:"腾讯技术工程"公众号 导语|腾讯自研搭建了业界一流的太极机器学习平台,致力于让用户更加聚焦业务AI问题解决和应用,一站式的解决算法工程师在AI应用过程中特征处理, ...
- 腾讯“云+未来”峰会亮相山城,助力重庆成为数字中国新标杆
(8月23日,重庆)今日,2018腾讯"云+未来"重庆峰会亮相首届中国国际智能产业博览会(智博会).峰会现场,腾讯首度分享了西南地区及重庆最新用云量数据,并带来可助力重庆智造与智慧 ...
最新文章
- KVM Vhost-net 和 Virtio-net代码详解(十八)
- web异步开发——json
- windows wim
- 没学c语言可以学python_学了Python,但是没有学c,直接去学c++是可行的吗?
- emc文件存储服务器,emc存储怎么挂在linux服务器上
- php自动运维,运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(五)
- 使用SQLServer2005插入一条数据时返回当前插入数据的ID
- 思维导图,流程图模板整合
- wordcloud词云使用方法
- “==”和“===”,难道不是多一个的区别吗?
- AI(2)---机器学习产品交互设计原则
- 深度神经网络 分布式训练 动手学深度学习v2
- 福禄克OTDR测试为什么要加补偿光纤?
- 单片机课程设计—简易频率计—课程设计任务书
- SUSE Linux 网络配置
- pc端移动端布局有什么区别
- 台式计算机怎么安装无线网卡,台式机无线网卡怎么用 台式机USB无线网卡安装使用教程...
- xlsx表格怎么筛选重复数据_excel怎么筛选两个表中相同数据
- Docker之工作中常用的命令(二)
- 2022-2-14至2022-2-19周报
热门文章
- 多用户商城系统 KgMall2.1公布
- css考核点整理(十一)-响应式开发经验,响应式页面的三种核心技术是什么
- AX 2009 时间类型函数操作
- getBoundingClientRect()方法
- python 正则表达式 匹配指定字符遇到问题记录
- 理解RESTful架构【转】
- 放在NSArray、NSDictionary等容器内的对象Item,Item中的property在程序运行过程中被无故释放...
- iOS Storyboard创建APP 的国际化操作
- Log4Net使用入门
- 【转】在python下使用包progressbar控制进度条