【译文】MapReduce：大型集群上的简化数据处理

作者：Jeffrey Dean 和 Sanjay Ghemawat

摘要：

MapReduce是一个编程模型，以及处理和生成大型数据集的一个相关实现，它适合各种各样的现实任务。用户指定计算的map和reduce函数。底层运行系统自动地将大规模集群机器间的计算并行化，处理机器故障，以及调度机器间通信以充分利用网络和磁盘。程序员会发现这个系统很好使用：在过去的去年中，超过一万个不同的MapReduce程序已经在Google内部实现，平均每天有十万个MapReuce作业在Google集群上被执行，每天总共处理20PB以上的数据。

1 简介

在MapReduce开发之前，作者和其他许多的Google员工实现了数以百计的处理大量原始数据（如抓取到的文档、Web请求日志等等）的专用计算方法，以计算各种导出的数据，如倒排索引、Web文档图结构的各种表示、每个host抓取到的页面数的总结、某一天最频繁的一组查询。大多数这样的计算在概念上是非常简单的，然而它们的输入数据量通常非常大。为了在合理的时间内完成这些计算，它们必须分布到成百上千的机器上。如何并行化计算，分发数据，以及处理故障，这些问题结合起来，往往会让程序员使用大量复杂代码来处理，而掩盖了原本简单的计算。

为了应对这一复杂性，我们设计了一个新的抽象，它允许我们表达试图执行的简单计算，但将并行化、容错、数据分布和负载均衡等凌乱的细节隐藏到了库中。这个抽象的灵感来源于出现在Lisp和许多其他函数式语言中的map和reduce原语。我们实现了大部分的计算，包括为输入的每一个逻辑记录应用一

【译文】MapReduce：大型集群上的简化数据处理相关推荐

MapReduce：大型集群上的简单数据处理
MapReduce :大型集群上的简单数据处理摘要 MapReduce是一个设计模型,也是一个处理和产生海量数据的一个相关实现.用户指定一个用于处理一个键值(key-value)对生成一组key/ ...
mapreduce复制连接的代码_MapReduce：在大型集群上简化数据处理（2）
特别说明这是一个由simviso团队所组织进行的基于mit分布式系统课程翻译的系列,由知秋带领和其他成员一起翻译的课程以及课程当中涉及的论文翻译. 由于微信排版功能有限,想要看最新版文档的小伙伴,请 ...
jar包在Hadoop集群上测试(MapReduce)
本片使用MapReduce--统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1.添加打包插件依赖 <build><plugins><plu ...
MapReduce作业在Hadoop完全分布式集群上运行的问题与思考（持续更新）
1.集群已搭建好且通过了WordCount测试,但是在eclipse上开发的程序却仍然是只在namenode上运行不知道是不是没有配置好eclipse上的Map/Reduce Locations,个 ...
INFOCOM 2021最佳论文奖：一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率
INFOCOM 2021最佳论文:Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep ...
Hadoop-2.2.0中文文档——MapReduce 下一代 -——集群配置
目的这份文档描写叙述了怎样安装.配置和管理从几个节点到有数千个节点的Hadoop集群. 玩的话,你可能想先在单机上安装.(看单节点配置). 准备从Apache镜像上下载一个Hadoop的稳定版本号 ...
pythonspark集群模式运行_有关python numpy pandas scipy 等能在YARN集群上运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...
在现有K8S集群上安装部署JenkinsX
在2018年年初,Jenkins X首次发布,它由Apache Groovy语言的创建者Jame Strachan创建.Jenkins X 是一个高度集成化的 CI/CD 平台,基于 Jenkins ...
在阿里云Serverless K8S集群上部署Spark任务并连接OSS（详细步骤）
在阿里云ASK集群上部署Spark任务并连接OSS 简介 ASK是阿里云的一个产品,属于Serverless Kubernetes 集群,这次实验是要在ASK集群上运行Spark计算任务(以WordC ...

【译文】MapReduce：大型集群上的简化数据处理

摘要：

1 简介

【译文】MapReduce：大型集群上的简化数据处理相关推荐

最新文章

热门文章