字节跳动开源分布式训练框架BytePS，登上GitHub热榜

2024-05-04 15:07:38

问耕发自凹非寺
量子位出品 | 公众号 QbitAI

字节跳动开源了通用分布式训练框架BytePS，这个框架支持TensorFlow、Keras、PyTorch、MXNet，可以运行在TCP或RDMA网络中。

官方介绍称，BytePS大大优于现有的开源分布式训练框架。例如，在相同的条件下，BytePS的训练速度是Horovod+NCCL的两倍。

BytePS也登上了GitHub趋势热榜。

性能表现

为了展示BytePS的性能，官方测试了两个模型：VGG16（通信密集型）和Resnet50（计算密集型），两个模型都以fp32精度进行训练。

训练使用了公有云上的虚拟机，每个机器有8个GPU，启用了NVLink。这些GPU都是Tesla V100 16GB型号GPU，batch size设置为64/每GPU。硬件之间以20Gbps的TCP/IP网络连接。

测试表明，与Horovod (NCCL)相比，BytePS在VGG16训练上的速度快100%，Resnet训练速度快44%。

Horovod是Uber开源的深度学习工具，NCCL是英伟达发布的多卡通信框架。

原因解析

BytePS为什么比Horovod更强？

官方解释称，一个主要的原因是BytePS是专门为云和共享集群而设计，并且抛弃了MPI。MPI是一个跨语言的通讯协议，用于编写并行计算机。

MPI是为高性能计算机而生，对于使用同类硬件构建的集群以及运行单一任务更有效。但并不是云（或者内部共享集群）的最佳选择。

因此字节跳动团队重新思考了最佳的通信策略。简而言之，BytePS仅在机器内部使用NCCL，重新构建了机器内部的通信。

BytePS还集成了许多加速技术，例如分层策略、流水线、张量分区、NUMA感知本地通信、基于优先级的调度等等。

传送门

BytePS现已在GitHub上开源，地址如下：

https://github.com/bytedance/byteps

在GitHub上，还详细介绍了如何使用BytePS等相关信息。

目前BytePS还不支持纯CPU训练。

— 完 —

AI社群 | 与优秀的人交流

小程序 | 全类别AI学习教程

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !

字节跳动开源分布式训练框架BytePS，登上GitHub热榜相关推荐

腾讯最新开源IoT操作系统登上GitHub热榜，最小体积仅1.8 KB，标星1200+
乾明发自凹非寺量子位报道 | 公众号 QbitAI 鹅厂又开源,这次是一个操作系统,面向物联网场景,名为TencentOS-tiny. 项目如其名,核心亮点就是tiny--最小体积仅1.8 ...
谷歌EfficientNet缩放模型，PyTorch实现出炉，登上GitHub热榜丨Demo可用
郭一璞发自凹非寺量子位报道 | 公众号 QbitAI 谷歌上个月底提出的EfficientNet开源缩放模型,在ImageNet的准确率达到了84.1%,超过Gpipe,已经是当前的stat ...
滴滴开源AI项目登上GitHub热榜，人机对话模型可从论文到产品部署无缝衔接
乾明发自凹非寺量子位报道 | 公众号 QbitAI 没想到,滴滴开源的自然语言理解(人机对话)模型训练平台,就这样登上了GitHub热榜. 这一项目名为DELTA,是一个深度学习模型训练框架 ...
李沐《动手学深度学习》PyTorch 实现版开源，瞬间登上 GitHub 热榜！
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达李沐,亚马逊 AI 主任科学家,名声在外!半年前,由李沐.Aston Zhang 等人合力打造 ...
用PyTorch实现的李沐《动手学深度学习》，登上GitHub热榜，获得700+星
晓查发自凹非寺量子位报道 | 公众号 QbitAI 李沐老师的<动手学深度学习>是一本入门深度学习的优秀教材,也是各大在线书店的计算机类畅销书. 作为MXNet的作者之一,李沐老 ...
PyTorch实现的李沐《动手学深度学习》，登上GitHub热榜，获得1000+星
点击我爱计算机视觉标星,更快获取CVML新技术晓查发自凹非寺量子位报道 | 公众号 QbitAI 李沐老师的<动手学深度学习>是一本入门深度学习的优秀教材,也是各大在线书店的计 ...
刷个B站的功夫就能把Python学了，微软放出短视频入门课，资料登上GitHub热榜第一...
乾明发自凹非寺量子位报道 | 公众号 QbitAI 微软,正在用力拥抱Python. 继Windows官方商店中加入了Python 3.7,支持一键安装Python之后. 这一不断为开源世界 ...
腾讯最新开源项目登上GitHub热榜：QQ音乐等18项业务都在用，日均PV过亿
乾明发自凹非寺量子位报道 | 公众号 QbitAI 腾讯又又又开源.这次是一个跨端框架,名为Hippy. 在GitHub上开源不到一周,便斩获近1200+星,一举登上趋势榜. 腾讯介绍称,H ...
最佳开发工具大全！前谷歌工程师两年打造“厂外生存指南”，登上GitHub热榜
晓查栗子方驭洋发自凹非寺量子位报道 | 公众号 QbitAI 一位曾经的谷歌工程师,花费两年时间,辛苦整理了一份清单. 这个名为"xg2xg"的清单,原本是这位前谷歌 ...

最新文章

热门文章