hadoop之 Hadoop1.x和Hadoop2.x构成对比

Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；

Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN；运行时环境为YARN

　　1、HDFS：HA、NameNode Federation

　　2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0（MRv2）

　　3、YARN：资源管理系统（Yet Another Resource Negotiator），在其之上可以运行各种计算框架，如：MapReduce、Storm、Spark等；

HDFS2.0

解决HDFS1.0中单点故障和内存受限问题

解决单点故障： HDFS HA（High Available）

　　通过主备NameNode，当主NameNode发生故障时则切换到备NameNode；

解决内存受限问题： HDFS Federation

　　水平扩展，支持多个NameNode；

　　每个NameNode分管一部分目录；不同的NameNode可以分管不同的应用；

　　所有NameNode共享所有DataNode存储的资源；

HDFS2.0和HDFS1.0相比、仅是架构上发生了变化，使用方式不变，对HDFS使用者来说是透明的。比如说hdfs shell命令：

hadoop fs -ls /luogankun

hadoop fs -mkdir /luogankun/data

在HDFS1.0和HDFS2.0中用法是一致的。

YARN

Hadoop2.0新引入的资源管理系统

YARN核心思想：将MRv1中JobTracker的资源管理和任务调度分开，分别由ResourceManager和ApplicationMaster进程实现；

ResourceManager：负责整个集群的资源管理；整个集群只有一个；

ApplicationMaster：负责应用程序相关的事务，比如：任务调度、任务监控和任务容错；一个应用程序对应一个ApplicationMaster；

YARN引入的好处：使得多个计算框架可以运行在一个集群中，比如：MapReduce、Spark、Storm等；

MapReduce On YARN

运行在YARN之上的MapReduce称为MRv2；

将MapReduce作业直接运行在YARN上，而不是运行在由JobTracker和TaskTracker构建的MRv1之上；在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模块基本功能：

1、YARN：负责资源管理和调度；

2、MRAppMaster：负责一个应用程序/作业的任务切分、任务调度、任务监控和容错；

3、Map/Reduce Task：任务驱动引擎，与MRv1一致；

每个应用程序/作业对应一个MRAppMaster，所以：

1、单个应用程序/作业运行失败，不会影响其他应用程序/作业；

2、负责应用程序/作业相关的事务，包括将从YARN分配得到的资源二次分配给内部的任务、任务切分、任务健康和容错等；

source : http://www.cnblogs.com/luogankun/p/3886989.html

hadoop之 Hadoop1.x和Hadoop2.x构成对比相关推荐

Hadoop入门进阶步步高（六-Hadoop1.x与Hadoop2的区别
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 六.Ha ...
Hadoop1.x版本升级Hadoop2.x
引言随着企业数据化和Hadoop的应用越加广泛,hadoop1.x的框架设计越来越无法满足人们对需求,Apache一直在对Hadoop1.x进行修改,最后推出了新一代的Hadoop2.x.从业界使用 ...
从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解
前言本人大三软件工程大数据专业,在此领域本人有诸多不明确疑问,可能文章会有些许错误,望大家在评论区指正,本篇文章错误将会不断更正维护. 提示:以下是本篇文章正文内容,下面案例可供参考一.Hadoo ...
Hadoop1.X 与 Hadoop2.X区别及改进
一:Haddop版本介绍 0.20.x版本最后演化成了现在的1.0.x版本 0.23.x版本最后演化成了现在的2.x版本 hadoop 1.0 指的是1.x(0.20.x),0.21,0.22 had ...
大话Hadoop1.0、Hadoop2.0与Yarn平台
2016年12月14日21:37:29 Author:张明阳博文链接:http://blog.csdn.net/a2011480169/article/details/53647012 参考 ppt ...
【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...
Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
【Hadoop】Hadoop1.X版本与Hadoop2.X的区别
学习时,突然想到这个问题,总结一下一.从整体上来说 Hadoop1.X即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个D ...
hadoop1.x 与hadoop2.x 架构变化分析
2019独角兽企业重金招聘Python工程师标准>>> 要点 Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有 ...

hadoop之 Hadoop1.x和Hadoop2.x构成对比

hadoop之 Hadoop1.x和Hadoop2.x构成对比相关推荐

最新文章

热门文章