1.1Mapreduce模型简介

Mapreduce是一种可用于数据处理的编程模型，Hadoop上可以运行各种语言版本的Mapreduce程序。Mapreduce程序是并行运行的，采用了分治的思想。编程核心思想：键值对思想

Mapreduce只需要用Map和Reduce的思想即可解决问题，即编写map()和reduce()函数

Mapreduce编程的特点：

开发简单
可扩展性强
容错性强

1.2 Mapreduce运行机制简介

Mapreduce发展过程中经历了两个版本：MRv1和YARN/MRv2

MRv1的运行环境由Job Tracker和Task Tracker两部分组成

服务	功能
Job Tracker	资源管理&所有作业的控制
Task Tracker	主要是接收Job Tracker的命令并执行

MRv2：基于YARN的第二代MapReduce的计算框架

提出了全新资源管理的框架YARN。

YARN中JobTracker
JobTracker	ResourceManager	负责所有应用程序的资源分配
JobTracker	ApplicationManager	仅负责管理一个应用程序

1.3Mapreduce架构优缺点

1.优点

良好的扩展性
高容错性
易于编程
适合PB级别以上的大数据的分布式离线批处理

2.局限性

Mapreduce执行速度慢
Mapreduce过于底层
不是所有算法都能用Mapreduce实现

Mapreduce编程模型（一）相关推荐

[转]Hadoop集群_WordCount运行详解--MapReduce编程模型
Hadoop集群_WordCount运行详解--MapReduce编程模型下面这篇文章写得非常好,有利于初学mapreduce的入门 http://www.nosqldb.cn/1369099810 ...
Hadoop MapReduce编程模型
MapReduce编程模型目录 MapReduce编程模型 1.MapReduce编程模型简介 2.什么是MapReduce 3.MapReduce的优缺点 4.MapReduce程序设计方法 5. ...
mapreduce 编程模型
MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架,它适用的应用场景往往具有一个共同的特点:任务可被分解成相互独立的子问题.基于该特点,MapReduce编程模型给出了其分布 ...
MapReduce编程模型
1.MapReduce简介 MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上. 一个完整的 ...
大数据快速入门（05）：MapReduce 编程模型赏析
一.Hadoop 诞生的传奇故事 (上图是 Doug Cutting,hadoop 之父) 1985年,Cutting 毕业于美国斯坦福大学. Cutting 的第一份工作是在 Xerox 做实习生, ...
一个wordcount程序轻松玩转MapReduce编程模型
可以毫不夸张的说,几乎开发中绝大部分的MR程序都是基于wordcount编程模型而来,或者说用wordcount变化而来(改变的主要是业务方面的逻辑).所以,熟练掌握wordcount编程模型,是掌握 ...
Mapreduce编程模型基础
一.Mapreduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集. MapReduce 作 ...
MapReduce编程模型详解
1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的 ...
Map-Reduce编程模型gif图片解释
2019独角兽企业重金招聘Python工程师标准>>> 原文地址 5-algorithms-widely-industry/ http://en.docsity.com/news/a ...

Mapreduce编程模型（一）