1 MapReduce

每个节点计算梯度，然后汇聚到一台机子上，再进行梯度下降。
时间还需要考虑通信时间。
- 通信的方式有两种：共享内存和消息传递；
- 在这里存在多机的情况都是消息传递的方式。

通信耗时

MapReduce 会有风险，因为每个节点需要同时完成后才会进行reduce，所以如果某个节点挂了，那么就需要等待完成后才能进行reduce操作。

总结map reduce

可以使用MapReduce进行梯度下降；
数据并行：数据分配到每个worker上；
一次梯度下降需要一次broadcast（分发数据），一次map，一次reduce操作。
耗时：计算耗时、通信耗时、同步耗时；
如果m个节点，那么最好的加速比是m倍。

【机器学习并行计算】1 MapReduce相关推荐

hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduce详解
我们在前一章已经学习了HDFS: hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解我们已经知道Hadoop=HDFS(文件系统,数据存储技术相关)+ M ...
一文读懂机器学习库graphLab
文章目录目录什么是graphlab 为什么使用graphlab? 如何安装graphlab? graphlab的简单使用. 目录什么是graphlab GraphLab 是由CMU(卡内基梅隆大 ...
王益：分布式机器学习的故事
转载自:http://blog.jobbole.com/57027/ 从毕业加入Google开始做分布式机器学习,到后来转战腾讯广告业务,至今已经七年了.我想说说我见到的故事和我自己的实践经历.这段经 ...
漫画：什么是MapReduce？
点击上方"程序员小灰",选择"置顶公众号" 有趣有内涵的文章第一时间送达! ----- 第二天 ----- ------------ 什么是MapReduc ...
Mapreduce实例——WordCount
Mapreduce简介 MapReduce定义 MapReduce在三个层面上的基本构思 MapReduce的工作原理 WordCount 实验环境实验步骤 Mapreduce简介 MapReduc ...
分布式机器学习的故事
王益博士,称得上机器学习领域的资深从业者,本人之前有幸拜读过王益博士的一些paper和slides,对其从事的"分布式机器学习"方向尤感兴趣. 王益博士之前写过一篇<分布式机 ...
大数据的新机遇：我的分布式机器学习故事
from :http://www.thebigdata.cn/JiShuBoKe/13723.html 一.前言从毕业加入Google 开始做分布式机器学习,到后来转战腾讯广告业务,至今已经七年了. ...
漫画：什么是MapReduce
转载自脑洞有点大的程序员小灰什么是MapReduce? MapReduce是一种编程模型,其理论来自Google公司发表的三篇论文(MapReduce,BigTable,GFS)之一,主要应用 ...
spark原理和spark与mapreduce的最大区别
参考文档:https://files.cnblogs.com/files/han-guang-xue/spark1.pdf 参考网址:https://www.cnblogs.com/wangrd/p/ ...

【机器学习并行计算】1 MapReduce

1 MapReduce

总结map reduce

【机器学习并行计算】1 MapReduce相关推荐

最新文章

热门文章