机器学习平台Angel 3.0
Angel (https://github.com/Angel-ML)是基于参数服务器架构的分布式计算平台，致力于解决稀疏数据大模型训练以及大规模图数据分析问题，它由腾讯与北京大学联合研发，兼顾了工业界的高可用性和学术界的创新性。
Angel是腾讯开源的大规模分布式机器学习平台，专注于稀疏数据高维模型的训练。目前Angel是Linux基金会人工智能(LFAI)孵化项目，相比于TensorFlow, PyTorch和Spark等业界同类平台，它有如下特点：
1、Angel是一个基于Parameter Server（PS）理念开发的高性能分布式机器学习平台，它具有灵活的可定制函数PS Function（PSF），可以将部分计算下推至PS端。PS架构良好的横向扩展能力让Angel能高效处理千亿级别的模型。
2、Angel具有专门为处理高维稀疏特征特别优化的数学库，性能可达breeze数学库的10倍以上。Angel的PS和内置的算法内核均构建在该数学库之上。
3、Angel擅长推荐模型和图网络模型相关领域（如社交网络分析）。图1是Angel和几个业界主流平台在稀疏数据，模型维度，性能表现，深度模型和生态建设几个维度的对比。Tensorflow和PyTouch在深度学习领域和生态建设方面优势明显，但在稀疏数据和高维模型方面的处理能力相对不足，而Angel正好与它们形成互补，3.0版本推出的PyTorch On Angel尝试将PyTorch和Angel的优势结合在一起。
Angel与业界主流平台的对比
Angel 3.0系统架构
Angel自研的高性能数学库是整个系统的基础，Angel的PS功能和内置的算法内核均是在这个数学库基础之上实现的。
Angel PS提供了高效，稳定和灵活的参数存储和交换服务。在3.0版本中，我们对Angel PS功能进行了扩展，使得它可以存储任意类型的对象，一个典型的例子是在图算法的实现过程中，我们使用Angel PS来存储了大量复杂的对象。
MLcore是Angel自研的一套算法内核，它支持自动求导，可以使用JSON配置文件定义和运行算法。除此之外，在3.0版本中，Angel还集成了PyTorch作为计算引擎。在计算引擎层之上是计算框架，它们可以看作计算引擎的容器，目前支持3种计算框架：原生的Angel，Spark On Angel（SONA）和PyTorch On Angel（PyTONA），这些计算框架可以使得Spark和PyTorch用户可以无缝切换到Angel平台。最上层是两个公共组件：AutoML和模型服务。
Angel 3.0新特性
图6提供了一个Angel 3.0特性的整体视图。Angel 3.0试图打造一个全栈机器学习平台，它的功能特性涵盖了机器学习的各个阶段：特征工程，模型训练，超参数调节和模型服务。
Angel的特征工程模块基于Spark开发，增强了Spark的特征选择功能，同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能，Angel 3.0新增了超参数调节的功能，目前支持3种算法：随机搜索，网格搜索和贝叶斯优化。在模型服务方面，Angel 3.0提供了一个跨平台的组件Angel Serving， Angel Serving不仅可以满足Angel自身的需求，还可以为其他平台提供模型服务。
在生态方面，Angel也尝试将PS能力赋能给其他的计算平台，目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。这两个平台各有优势和侧重， Spark On Angel使用的是Angel内置的算法核心，主要负责常见推荐领域的机器学习算法和基础图算法。PyToch On Angel使用PyTorch作为计算核心，主要负责推荐领域深度学习算法和图深度学习算法。
总结：
Angel 3.0新特性：
自动特征工程：新增特征选择和组合方法，将特征合成、选择和重新索引以pipeline的形式呈现，用来迭代生成高阶合成特征
新的计算引擎：
SONA(加强):特征工程支持索引为Long类型的向量；所有的算法被封装成Spark风格的APIs；SONA上的算法可以作为Spark的补充
PyTONA(新）：PyTONA作为图学习算法的引擎被引入，目前支持GCN和GraphSage，同时也支持推荐领域的算法。PyTONA采用Python作为交互，因此是用户友好的
自动机器学习:Angel3.0引入了3种超参数调节算法：网格搜索、随机搜索和贝叶斯优化
Angel模型服务：Angel提供一个跨平台的模型服务框架，支持Angel、PyTorch和Spark的模型，性能上与TensorFlow Serving相当
支持Kubernetes : Angel3.0支持Kubernetes，从而可以在云上运行
Angel开源地址:https://github.com/Angel-ML
机器学习平台Angel 3.0相关推荐
- 超50万行代码、GitHub 4200星：腾讯重磅发布全栈机器学习平台Angel 3.0
来源:新智元编辑部 [新智元导读]腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0.这是一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段,超过50万行代码,在 G ...
- 腾讯重磅发布全栈机器学习平台Angel 3.0
腾讯首个AI开源项目Angel,正式发布一个里程碑式的版本:Angel 3.0.这是一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段,超过50万行代码,在 GitHub 上 Star 数已超过 ...
- 刚刚，阿里重磅发布机器学习平台PAI 3.0！
\u003cblockquote\u003e\n\u003cp\u003e3月21日,2019 阿里云峰会在北京召开,会上阿里巴巴重磅发布了机器学习平台PAI 3.0版本.距离PAI 2.0发布已经过 ...
- 要闻君说：重磅！阿里巴巴发布了机器学习平台PAI 3.0版本；厉害！三星推出了业界首款HBM2E内存；Google也做云游戏平台...
关注并标星星CSDN云计算 每周三次,打卡即read 更快.更全了解泛云圈精彩news go go go 偶是要闻君.最近圈儿内的大型活动真是挤满台历,例如阿里云一年一度的大峰会,这不就在北京开上了! ...
- 独家解读！阿里重磅发布机器学习平台PAI 3.0
策划编辑|Natalie 编辑|Debra AI 前线导读:3 月 21 日,2019 阿里云峰会在北京召开,会上阿里巴巴重磅发布了机器学习平台 PAI 3.0 版本.距离 PAI 2.0 发布已经过 ...
- 腾讯AI开源框架Angel 3.0重磅发布：超50万行代码，支持3种算法，打造全栈机器学习平台...
出品 | AI科技大本营(ID:rgznai100) [导语]2019年8月22日,腾讯首个AI开源项目Angel正式发布3.0版本.Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机 ...
- 腾讯 angel 3.0：高效处理模型
腾讯 angel 3.0:高效处理模型 紧跟华为宣布新的 AI 框架开源的消息,腾讯又带来了全新的全栈机器学习平台 angel3.0.新版本功能特性覆盖了机器学习的各个阶段,包括:特征工程.模型训练. ...
- 腾讯开源框架Angel推出3.0版本：全栈机器学习平台
36氪获悉,腾讯首个AI开源项目Angel正式发布3.0版本.Angel 3.0尝试打造一个全栈的机器学习平台,功能特性涵盖了机器学习的各个阶段:特征工程,模型训练,超参数调节和模型服务.从1.0到3 ...
- 道器相融，由Angel论一个优秀机器学习平台的自我修养
*本文首发于 AI前线 ,欢迎转载,并请注明出处. 摘要 2017年6月,腾讯正式开源面向机器学习的第三代高性能计算平台 Angel,在GitHub上备受关注:2017年10月19日,腾讯T4专家An ...
最新文章
- java 暂停多线程_关于java中多线程的暂停
- Eclipse快捷键：最常用且高效的快捷键
- java定时器无法自动注入的问题解析(原来Spring定时器可以这样注入service)
- nagios（系统监控）
- Flutter入门：Hero共享元素
- 新来的前端小姐姐问：Vue路由history模式刷新页面出现404问题
- 二手车没有车险能过户吗？
- 强化学习数学基础1---Policy Gradient
- 不能为虚拟电脑 ubuntu 打开一个新任务的解决办法
- CodeForces 617 E. XOR and Favorite Number
- 数据改写-数据科学导论
- php生成11位不重复数字,php生成8位不重复字符串
- 将连接MySQL数据库的java项目程序打包成为.jar格式
- Lodop6.226_Clodop3.075.zip
- win10 常用DOS命令
- 高精度定位网络PAS的经济模式_RTK基站网络共享奖励模式
- 网站banner写法
- 卷积神经网络学习路线（五）| 卷积神经网络参数设置，提高泛化能力？
- 苹果手机上没有显示订阅服务器,手机里没有订阅的选项，我该怎样取消自动收费项目...
- 图像处理中的forward warping 和 inverse warping