MR原语

输入(格式化k,v)数据集map映射成一个中间数据集(k,v)reduce

相同"的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算

计算框架

Partition

Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：

1)均衡负载，尽量的将工作均匀的分配给不同的reduce。

2)效率，分配速度一定要快。

Shuffle

：框架内部实现机制

分布式计算节点数据流转：连接MapTask与ReduceTask

样例

理解

Map：

读懂数据

映射为KV模型

并行分布式

计算向数据移动

Reduce：

数据全量/分量加工

Reduce中可以包含不同的key

相同的Key汇聚到一个Reduce中

相同的Key调用一次reduce方法

排序实现key的汇聚

K,V使用自定义数据类型

作为参数传递，节省开发成本，提高程序自由度

Writable序列化：使能分布式程序数据交互

Comparable比较器：实现具体排序(字典序，数值序等)

运行架构

MR1

MRv1角色：

JobTracker

核心，主，单点

调度所有的作业

监控整个集群的资源负载

TaskTracker

从，自身节点资源管理

和JobTracker心跳，汇报资源，获取Task

Client

作业为单位

规划作业计算分布

提交作业资源到HDFS

最终提交作业到JobTracker

弊端：

JobTracker：负载过重，单点故障

资源管理与计算调度强耦合，其他计算框架需要重复实现资源管理

不同框架对资源不能全局管理

MR2

hadoop YARN

YARN架构

YARN：解耦资源与计算

ResourceManager

主，核心

集群节点资源管理

NodeManager

与RM汇报资源

管理Container生命周期

计算框架中的角色都以Container表示

Container：【节点NM，CPU,MEM,I/O大小，启动命令】

默认NodeManager启动线程监控Container大小，超出申请资源额度，kill

支持Linux内核的Cgroup

YARN优势

YARN：Yet Another Resource Negotiator；

Hadoop 2.0新引入的资源管理系统，直接从MRv1演化而来的；

核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由 ResourceManager和ApplicationMaster进程实现

ResourceManager：负责整个集群的资源管理和调度

ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等

YARN的引入，使得多个计算框架可运行在一个集群中

每个应用程序对应一个ApplicationMaster

目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等

MRv2：On YARN

MR-ApplicationMaster-Container

作业为单位，避免单点故障，负载到不同的节点

创建Task需要和RM申请资源(Container)

Task-Container

Client：

RM-Client：请求资源创建AM

AM-Client：与AM交互

将MapReduce作业直接运行在YARN上，而不是由JobTracker和TaskTracker构建的MRv1系统中

基本功能模块

YARN：负责资源管理和调度

MRAppMaster：负责任务切分、任务调度、任务监控和容错等

MapTask/ReduceTask：任务驱动引擎，与MRv1一致

每个MapRduce作业对应一个MRAppMaster

MRAppMaster任务调度

YARN将资源分配给MRAppMaster

MRAppMaster进一步将资源分配给内部的任务

MRAppMaster容错

失败后，由YARN重新启动

任务失败后，MRAppMaster重新申请资源

环境搭建

mapred-site.xml

mapreduce.framework.nameyarn

yarn-site.xml

 yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idcluster1yarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1node03yarn.resourcemanager.hostname.rm2node04yarn.resourcemanager.zk-addressnode02:2181,node03:2181,node04:2181

启动：

node1:启动所有nodemanager

start-yarn.sh

node3,node4:启动resourcemanager

yarn-daemon.sh start resourcemanager

样例：

执行jar

cd /usr/hadoop-2.5.1/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount /wordcount/input /wordcount/output

监控页：

node04:8088