Hadoop1.0和2.0的主要区别

Hadoop 1.0指的是版本为Apache Hadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce是一个离线处理框架，分为三部分，运行时环境为JobTracker和TaskTracker，编程模型为Map映射和Reduce规约，数据处理引擎为MapTask和ReduceTask，Hadoop1.0资源管理由两部分组成：资源表示模型和资源分配模型，其中，资源表示模型用于描述资源的组织方式，Hadoop 1.0采用“槽位”（slot）组织各节点上的资源，而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。

Hadoop 2.0指的是版本为Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，组件主要由HDFS、MapReduce和YARN三个系统组成，其中，YARN是一个2.0新增的一个通用的资源管理系统(也可以作为spark，storm等的资源调度器)，负责集群资源管理和调度，而MapReduce得运行时环境则是运行在YARN上。

Hadoop1.0和2.0的主要区别：
1.新增yarn，1.0时mr的运行环境为JobTracker和TaskTracker，2.0则取消了JobTracker和TaskTracker，使用yarn作为mr的资源调度调度器
2.解决了hadoop1.0中NN的单点故障，可以使用NN的Ha
3.Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB

Hadoop1.0和2.0的主要区别相关推荐

浅谈web1.0和web2.0的主要区别。
一.web1.0和web2.0的各自特点 web1.0主要特点 web1.0时代是一个群雄并起,逐鹿网络的时代,虽然各个网站采用的手段和方法不同,但第一代互联网有诸多共同的特征,表现在: 1.web1 ...
从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解
前言本人大三软件工程大数据专业,在此领域本人有诸多不明确疑问,可能文章会有些许错误,望大家在评论区指正,本篇文章错误将会不断更正维护. 提示:以下是本篇文章正文内容,下面案例可供参考一.Hadoo ...
大话Hadoop1.0、Hadoop2.0与Yarn平台
2016年12月14日21:37:29 Author:张明阳博文链接:http://blog.csdn.net/a2011480169/article/details/53647012 参考 ppt ...
Hadoop 生态系列之 1.0 和 2.0 架构
自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背景自己也很喜欢.趁着还没有入职,给大家争取先把 Hadoop 系列的文章总结完毕,可以当做科普文,也可以当做 ...
Hadoop 系列之 1.0 和2.0 架构
Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背景自己也很喜欢.趁着还没有入职,给大家争取先把 Hadoop ...
Hadoop 基础系列一Hadoop 系列之 1.0 和2.0 架构
精选30+云产品,助力企业轻松上云!>>> Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背 ...
半导体或芯片的90nm、65nm 、0.25um、0.18um、工艺指的是什么？
半导体或芯片的90nm.65nm .0.25um.0.18um等是IC工艺先进水平的主要指标.这些数字表示制作半导体或芯片的技术节点(technologynode),也称作工艺节点.IC生产工艺可达到 ...
HTTP1.0和HTTP2.0的区别，以及HTTP和HTTPS的区别
一.HTTP1.0和HTTP2.0的区别总的区别就是: HTTP/2采用二进制格式而非文本格式 HTTP/2是完全多路复用的,而非有序并阻塞的--只需一个连接即可实现并行使用报头压缩,HTTP/2 ...
基于【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ数据仓库01 —— 准备环境，搭建本地仓库，安装ambari...
一.集群软硬件环境准备: 操作系统: centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.0 5台PC作为工作站: ep-bd01 ...
积少成多 Flash(ActionScript 3.0 Flex 3.0) 系列文章索引
[源码下载] 积少成多 Flash(ActionScript 3.0 & Flex 3.0) 系列文章索引作者:webabcd Flash 之 ActionScript 3.0 1.积少成 ...

Hadoop1.0和2.0的主要区别

Hadoop1.0和2.0的主要区别相关推荐

最新文章

热门文章