大规模分布式深度网络

论文：https://www.cs.toronto.edu/~ranzato/publications/DistBeliefNIPS2012_withAppendix.pdf

译文：大规模分布式深度网络

摘要

最近，无监督特征学习和深度学习的相关工作表明，训练大模型可以显著提高模型的性能。本文，我们考虑使用上万个CPU核心来训练有数十亿参数的深度网络问题。我们已经开发出名为DistBelief的软件框架，可以利用上千台机器组成的集群来训练大模型。在DistBelief内部，我们开发了两种用于大规模训练的算法。（i）Downpour SGD，一个异步随机梯度下降过程，支持大量模型副本做数据并行。（ii）Sandblaster，一个框架，支持大量分布式批量优化过程，包括L-BFGS的分布式实现。Downpour SGD和Sandblaster L-BFGS都提升了深度网络训练的规模和速度。

分布式优化算法

DistBelief的并行计算让我们可以实例化，以及运行比之前大很多的神经网络。为了在合理的时间内训练完这么大的网络，我们不仅需要在单个模型实例内并行训练，还要跨模型实例分布式训练。这一节，我们阐述分布式并行。

转载于:https://www.cnblogs.com/yangwenhuan/p/11319711.html

大规模分布式深度网络相关推荐

雅虎开源CaffeOnSpark：基于Hadoop/Spark的分布式深度学习
雅虎开源CaffeOnSpark:基于Hadoop/Spark的分布式深度学习 [日期:2016-02-26] 来源:极客头条作者: [字体:大中小] 在基于Hadoop集群的大规模分布式深度学 ...
架构解析｜网易自研新一代大规模分布式传输网
文|Keith 网易云信服务端首席架构师沟通是人类永恒的追求,我们总是渴望突破时空的限制,拉近人与人之间的距离. 随着RTC.直播等技术的成熟,更实时.更高质量的通信变得越来越触手可及.结合传统 ...
单光子的产生助力实现大规模分布式量子计算网络
(来源:MIT News) 剑桥大学的研究人员开发了一种通过在专门设计的发光二极管(LED)中移动单电子来产生单光子的新技术.这项技术发表在<自然通信>杂志上,可以帮助发展新兴的量子通信和 ...
南邮STITP 基于图挖掘的大规模动态交互网络热点区域识别及分布式处理立项书
本项目旨在利用图挖掘解决大规模动态交互网络的热点区域识别问题,并提供分布式处理方案. 具体研究目标是:建立适合于大规模动态交互网络.基于图挖掘算法的热点区域识别方法:利用分布式处理方案,提高大规模动态 ...
百度开源联邦学习框架 PaddleFL：简化大规模分布式集群部署
百度开源联邦学习框架 PaddleFL:简化大规模分布式集群部署作者 | 钰莹近两年,联邦学习技术发展迅速.作为分布式的机器学习范式,联邦学习能够有效解决数据孤岛问题,让参与方在不共享数据的基础上联 ...
深度学习概述：从感知机到深度网络（找到一篇大牛的文章快围观）
https://www.toutiao.com/i6652554938519912968/ 2019-01-31 15:10:48 前言别说我不宠粉,分享一篇大佬的文章,没办法书读得少不知道怎么去形 ...
DMLC深盟分布式深度机器学习开源平台解析
DMLC深盟分布式深度机器学习开源平台解析 width="22" height="16" src="http://hits.sinajs.cn/ ...
深度学习概述：从感知机到深度网络
(注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择.理论的介绍都很到位,由浅入深,源文地址) 近些年来,人工智能领域又活跃起来,除了传统了学术圈外 ...
云环境下大规模分布式计算数据感知的调度系统
云环境下大规模分布式计算数据感知的调度系统刘汪根1, 郑淮城1, 荣国平2 1 星环信息科技(上海)有限公司,上海 200233 2 南京大学软件学院,江苏南京 210093 摘要:介绍了新的调度 ...
阿里开源大规模分布式图学习框架：专为Graph嵌入，无缝对接TF/PyTorch
↑ 点击上方[计算机视觉联盟]关注我们来源:阿里妈妈编辑:金金,大明来自新智元阿里妈妈开源大规模分布式图表征学习框架Euler,面向工业级用户和高级研究者,结合TF/XDL/PyTorch等深 ...

大规模分布式深度网络

大规模分布式深度网络相关推荐

最新文章

热门文章