点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

仅作分享，不代表本公众号立场，侵权联系删除

转载于：专知

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

深度学习与计算系统结合是现在业界发展的趋势。Logical Clocks的CEO Jim Dowling讲述了分布式深度学习最新技术发展，以及其Hosworks开源平台。

人工智能的需求在过去十年中显著增长，很大程度是深度学习的进步。这种增长是由深度(机器)学习技术的进步和利用硬件加速的能力推动的。然而，为了提高预测的质量和使机器学习解决方案在更复杂的应用中可行，需要大量的训练数据。尽管小型机器学习模型可以用适量的数据进行训练，但用于训练较大模型(如神经网络)的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器计算能力的增长，因此需要将机器学习工作量分散到多台机器上，并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战，首先是训练过程的有效并行化和一致模型的创建。

分布式深度学习有很多好处——使用更多的GPU更快地训练模型，在许多GPU上并行超参数调优，并行消融研究以帮助理解深度神经网络的行为和性能。随着Spark 3.0的出现，GPU开始转向执行器，使用PySpark的分布式深度学习现在成为可能。然而，PySpark给迭代模型开发带来了挑战——从开发机器(笔记本电脑)开始，然后重新编写它们以运行在基于集群的环境中。

本讲座概述了分布式深度学习的技术，并提供了可用系统的概述，从而对该领域当前的最新技术进行了广泛的概述。

Jim Dowling是 Logical Clocks公司的首席执行官，也是KTH皇家理工学院的副教授。他是开源的Hopsworks平台的首席架构师，这是一个横向可扩展的机器学习数据平台。

https://www.slideshare.net/dowlingjim/invited-lecture-on-gpus-and-distributed-deep-learning-at-uppsala-university

end

这是我的私人微信，还有少量坑位，可与相关学者研究人员交流学习 

目前开设有人工智能、机器学习、计算机视觉、自动驾驶（含SLAM）、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群，备注：CV联盟

王博的公众号，欢迎关注，干货多多

王博的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章（上）

博士笔记 | 周志华《机器学习》手推笔记第八章（下）

博士笔记 | 周志华《机器学习》手推笔记第九章

点个在看支持一下吧