深度学习高速路上,PaddlePaddle正在弯道超车
深度学习是机器学习中一种基于对数据进行表证学习的方法,近些年不断发展并广受欢迎。研究热潮的持续高涨,带来各种开源深度学习框架层出不穷,其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、PaddlePaddle、Theano、DeepLearning4、Lasagne、Neon等,在此背景下,PaddlePaddle如何在这条深度学习的高速路上弯道超车,看PaddlePaddle架构师潘欣如何解答。
以下为潘欣老师演讲实录
借助传统编程语言理念的全功能深度学习框架
PaddlePaddle是国内唯一的开源深度学习平台,由百度自主研发并具备完全的自主核心技术和知识产权,支持从建模、网络、强化学习、语音识别到最后部署的全部环节,具有易学、易用、安全、高效等特点,是全功能的深度学习框架。
图一 PaddlePaddle核心框架结构
PaddlePaddle的核心架构如图所示,它的整体运行流程是通过API接口组输入/输出网络,并在底层做统一转化,然后通过Runtime进行训练,最后转换成线上部署的模型。线上部署分为服务端和移动端,为应对不同体系平台、能耗的要求,我们部署不同的设备。
其中左侧第一层是API接口,它采用Python语言编写,大致分为两大类,一类是组网类API,包括控制逻辑、构成逻辑、计算逻辑、IO的模块、读取数据的模块等;另一类是执行类底层API,把用户组好的模型进行分析,并将计算方法进行合并优化,以此提高训练速度。
除此之外,对于API的组网,PaddlePaddle还有一些新特性。众所周知,目前很多的框架是在用户层暴露出来一个图的接口,以此进行组网。但我们认为,大多数的程序员更熟悉的是传统的如变量、block的流式程序的概念,而不是通过一个图去连接算子、编写模型。所以在PaddlePaddle API接口的设计中,我们使用了这些传统编程语言的理念,使得最终编写更类似于传统编程语言。
组网类API
组网类API包含通用、控制、计算、优化、IO等类型的API。
Variables:PaddlePaddle中的变量,可以是Tensor、 Parameter,或RPCClient。概念类似高级语言中的变量,有不同类型。
Layers:PaddlePaddle中用户配置模型的基础模块,Layer表示一个或者一组紧密关联的计算,Layers可以通过输入输出连接起来。
Block:Block表示一组连续的计算逻辑,通常是一个或多个顺序Layer组成。通常主模型是一个Block0。另外在Control Flow中,比如While、Iflese,也会单独形成一个子Block。
Control Flow:PaddlePaddle支持If-else、While、Switch等编程语言中常见的Control Flow,以确保模型的灵活表达。Control Flow通常以Block的形式存在。
Program:包含了1个或者多个Block,表示一个完整的模型执行单元。执行器需要完整的执行Program,并保证读写关系符合用户的预期。
执行类API
示例
训练Runtime
多卡并行-SSA Graph
将模型Program转换成一个可并发执行的Intermediate Representation(IR);利用Static Single Assignment为Variable加Version,得到一个正确的依赖关系;Build Pass中插入通信节点和额外的依赖关系。
基于图依赖的执行:Input ready的所有Operator可以并发执行;Operators在多个GPU上数据并行执行;多卡Gradient聚合,确保数据并行中参数一致。
多卡并行-Profile
多机分布式
多机分布式支持Ring、Pserver两种模式。
Ring:自动插入多机Communicator,多机同步训练,支持高性能RDMA通信。
Pserver:拆分成Trainer Program和PserverProgram。支持同步和异步的分布式训练。Trainer端多线程异步发送Gradient;Pserver端多线程异步Apply Optimization。
用户Focus Modeling, 框架自动多机化部署:
发现Optimizer Operators、Parameters、Gradients。
Split和Assign到Parameter Server上。
在Trainer和Parameter Server上插入发送和接收的通信节点。
生成在Trainer执行的Program。
生成在Parameter Server执行的Program。
多机分布式的通信和集群
支持MPI、RPC等通信方式。
RPC将来会换成Brpc,并提供原生的RPC+RDMA支持,极大提高通信效率。
支持Kubernetes集群部署。
多机分布式下的容错
Trainer或者PserverFailure后可以重启恢复训练。即将支持Pserver端的分布式CheckPoint和恢复,支持大规模Embedding。
大规模稀疏数据分布式模型训练
在互联网场景中,亿级的用户每天产生着百亿级的用户数据,百度的搜索和推荐系统是大规模稀疏数据分布式模型训练的主要应用场景。
如何利用这些数据训练出更好的模型来给用户提供服务,对机器学习框架提出了很高的要求。主要包括:
样本数量大,单周20T+。
特征维度多达千亿甚至万亿。
T级别,参数大。
小时级更新,时效要求高。
注:文中所提架构基于PaddlePaddle 0.14版本,未来,会发出更为稳定的新版本,欢迎大家关注
提问环节
提问:在分布式训练的时候,有同步和异步两种,什么时候适合用同步,什么时候适合用异步?
潘欣:目前没有机械化的方法确定这个问题,但是有一些经验可以跟大家分享。如在图像这个领域用同步更稳定,还有最近的翻译模型,也是通过同步的方法训练。当然,并不是说同步一定比异步好。根据过去在公司的经验,中国的主流其实是异步,异步的好处是训练更加可扩展,对于很多传统NLP任务,异步比同步要好。所以要验证这个问题需要在实验中比较。
实录结束
潘欣,百度深度学习框架PaddlePaddle的架构设计以及核心模块开发负责人,百度深度学习技术平台部TC主席。在计算机视觉CVPR和云计算SoCC等国际会议发表多篇论文。
转载于:https://blog.51cto.com/13970240/2288306
深度学习高速路上,PaddlePaddle正在弯道超车相关推荐
- 深度学习框架之paddlepaddle
官网地址:https://www.paddlepaddle.org.cn/ 码云仓库:https://gitee.com/paddlepaddle/Paddle 简介 飞桨(PaddlePaddle) ...
- 在深度学习的路上,哪些框架或学习平台值得推荐?
作者:Eileen 短短几年,深度学习(Deep Learning)技术已在语音识别.图像分类.文本理解等领域广泛应用,成为人工智能领域的研究热点和行业应用的核心技术支撑.与此同时,越来越多的人也开始 ...
- 【深度学习】【PaddlePaddle】DAY 3 - 构建神经网络模型(二)
深度学习课程 DAY 3 - 构建神经网络模型(二) Chapter 2 构建神经网络模型 2.2 代码实现-构建神经网络模型 (4)训练过程 1)梯度下降法 2)计算梯度 3)使用Numpy进行梯度 ...
- 教你使用百度深度学习框架PaddlePaddle完成波士顿房价预测(新手向)
首先,本文是一篇纯新手向文章,我自己也只能算是入门,有说错的地方欢迎大家批评讨论 目录 一.人工智能.机器学习.深度学习 二.PaddlePaddle(飞桨) 三.波士顿房价预测模型 数据处理 模型设 ...
- 基于深度学习的多任务人脸属性分析(基于飞桨PaddlePaddle)
目录 一.概述 1.1 多任务人脸属性分析 1.2 本文任务 二.环境配置 2.1 安装PaddlePaddle 2.2 安装PaddleClas 三.算法模型开发 3.1 算法原理 3.2 数据集准 ...
- 演讲实录:百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
- 盘点国内那些深度学习框架:清华计图Jittor、腾讯优图NCNN、百度飞桨PaddlePaddle、阿里X-DeepLearning
1.清华计图Jittor 清华大学开发了一个名为计图(Jittor)的深度学习框架. 计图(Jittor:Just in Time)是一个采用元算子表达神经网络计算单元.完全基于动态编译(Just-i ...
- 【转载】演讲实录:百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
- 基于深度学习的人脸识别闸机开发(基于飞桨PaddlePaddle)
目录 一.概述 1.1 人脸识别背景 1.2 实现 1.2.1 算法说明 1.2.2 环境设置 1.2.3 实现思路 二.示例脚本 2.1 安装PaddlePaddle和PLSC 2.2 下载人脸检测 ...
- 原创 | 深度学习框架比较,我该选择哪一个?
近年来,深度学习在很多机器学习领域都有着非常出色的表现,在图像识别.语音识别.自然语言处理.机器人.网络广告投放.医学自动诊断和金融等领域有着广泛应用.面对繁多的应用场景,深度学习框架有助于建模者节省 ...
最新文章
- ces测试数据测试ces测试数据测试ces测试数据测试ces测试数据测试ces测试数据测试
- Android之怎么隐藏EditText光标和自动显示键盘
- 酒桌上,领导将酒泼到你脸上......
- 2021年兰州师大附中高考成绩查询,2021年兰州重点高中名单及排名,兰州高中高考成绩排名榜...
- 飞鸽传书下载最新版2013
- 0821Servlet基础
- ApacheCN 安卓译文集(二)20211226 更新
- 书单|互联网企业面试案头书之数据分析师篇
- vue函数如何调用其他函数?_详解 vue 生命钩子函数
- hihoCoder #1014 : Trie树 [ Trie ]
- HTML实现简单注册页面
- 【常见c语言笔试题嵌入式软件开发1】
- 基于OpenVINO的端到端DL网络-初步接触OpenVINO提供的例子(win+vs)
- WannaCry勒索病毒分析
- 各领域公开数据集下载
- 人脸识别、人证比对核验数据特点
- TextView中英文排版混乱
- python standardprint_Python 机器学习 标准差(Standard Deviation)
- 2018年终个人总结
- Hibernate查询性能优化技巧