MapReduce 概述

1. MapReduce 定义

MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

2. MapReduce 优缺点

优点：
- 易于编程；
- 良好的扩展性；
- 高容错性；
- 适合PB级以上海量数据的离线处理；
  缺点：
- 不擅长实时计算；
- 不擅长流式计算；
- 不擅长DAG(有向图)计算；

3. MapReduce 核心思想

MapReduce 运算程序一般需要分成两个阶段：Map阶段和Reduce阶段；

===================

3.1 MapReduce 进程

一个完整的MapReduce程序在分布式运行时，有三类实例进程：
- MrAppMaster: 负责整个程序的过程调度及状态协调；
- MapTask: 负责Map阶段的整个数据处理流程；
- ReduceTask: 负责Reduce阶段的整个数据处理流程；

4. MapReduce 编程规范

用户编写的程序分成三个部分：Mapper,Reducer 和 Driver；
Mapper 阶段：
- 用户自定义的 Mapper 要继承自己的父类；
- Mapper 的输入数据是KV对的形式（KV的类型可自定义）；
- Mapper 中的业务逻辑写在map()方法中；
- Mapper 的输出数据是KV对的形式（KV的类型可自定义）；
- map()方法（MapTask进程）对每一个<K,V>调用一次；
Reducer 阶段：
- 用户自定义的Reducer要继承自己的父类；
- Reducer 的输入数据类型对应 Mapper 的输出类型，也是KV；
- Reducer 的业务逻辑写在 reduce() 方法中；
- ReduceTask 进程对每一组相同K的<K,V>组调用一次 reduce() 方法；
Driver 阶段
- 相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象；

转载于:https://www.cnblogs.com/linkworld/p/10946277.html

MapReduce 概述相关推荐

MapReduce概述
MapReduce概述源自于Google的MapReduce论文,论文发表于2004年12月 Hadoop的MapReduce是Google MapReduce的克隆版.与HDFS非常类似. Map ...
MapReduce入门（一）—— MapReduce概述 + WordCount案例实操
MapReduce入门(一)-- MapReduce概述文章目录 MapReduce入门(一)-- MapReduce概述 1.1 MapReduce 定义 1.2 MapReduce 优缺点 1. ...
【Hadoop】Hadoop生态系列之MapReduce概述及MapReduce任务开发与发布
上一篇:Hadoop生态系列之HDFS常用Shell命令实践及Java API操作HDFS 这里写目录标题 MapReduce 概述流程分析环境搭建 MapReduce任务开发背景实现任务发 ...
Hadoop基础--HDFS/Yarn/MapReduce概述
HDFS概述==> 1. Hadoop优势(4高): 1.高可靠性: Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失: 2.高扩展型: 在 ...
MapReduce概述及MapReduce详细实现
目录一.概述二.定义三.MapReduce原理 1.原理四.MR执行过程 1.map阶段 2.reudce阶段 3.shuffle过程五.MapReduce默认输入处理类六.RecordR ...
大数据学习笔记09：MapReduce概述
文章目录一.引入问题问题1:100副牌,没有大小王,差一张牌,确定缺少的那张牌. 问题2:100GB网站访问日志文件,找出访问次数最多的IP地址. 二.MapReduce编程模型三.MapRed ...
MapReduce概述及工作流程
内容 mapreduce原语(独创) mapreduce工作流程(重点) MR作业提交流程(重点) YARN RM-HA搭建(熟练) 运行自带的wordcount(了解) 动手写wordcount(熟 ...
史上最快! 10小时大数据入门实战(五)-分布式计算框架MapReduce
目录 1 MapReduce概述 2 MapReduce编程模型之通过wordcount词频统计分析案例入门 MapReduce执行流程 InputFormat OutputFormat Output ...
第五章-分布式并行编程框架MapReduce
第五章-分布式并行编程框架MapReduce 文章目录第五章-分布式并行编程框架MapReduce MapReduce概述分布式并行编程 MapReduce模型和函数 MapReduce体系结构 ...

MapReduce 概述

1. MapReduce 定义

2. MapReduce 优缺点

3. MapReduce 核心思想

3.1 MapReduce 进程

4. MapReduce 编程规范

MapReduce 概述相关推荐

最新文章

热门文章