Hadoop 1.X，2.X区别：

HDFS角度：

1：Hadoop2.0新增了HDFS HA机制，HA增加了standbynamenode进行热备份，解决了1.0的单点故障问题。

2：Hadoop2.0新增了HDFS federation，解决了HDFS水平可扩展能力. 允许有多个namenode独立运行组成联邦。每个datanode向所有name进行注册。每个namenode维护一个命名空间卷（互相独立）上层通过一个挂载表组织来访问数据。

命名空间卷：包括池块和命名空间元数据

块池：逻辑概念，该命名空间文件的所有块；可能在不同机器上。

命名空间元数据：命名空间元数据

mapreduce角度：

2.0相比于1.0 新增了YARN框架，Mapreduce的运行环境发生了变化

在1.0中：由一个JobTracker和若干个TaskTracker两类服务组成，其中JobTracker负责资源管理和所有作业的控制，TaskTracker负责接收来自JobTracker的命令并执行它。所以MapReduce即是任务调度框架又是计算框架，1.0中会出现JobTracker大包大揽任务过重，而且存在单点故障问题，并且容易出现OOM问题，资源分配不合理等问题。

在2.0中：MASTER端由ResourceManager进行资源管理调度，有ApplicationMaster进行任务管理和任务监控。SLAVE端由NodeManager替代TaskTracker进行具体任务的执行，所以MapReduce2.0只是一个计算框架，具体资源调度全部交给Yarn框架。

Hadoop 2.X和3.X区别：

1：Java运行环境升级为1.8；

2：HDFS支持纠删码：

纠删码相比于副本机制节省了一半以上的存储空间，普通副本机制需要3倍存储空间而这种机制只需1.4倍即可。

3：:YARN时间线服务:

4：支持多余2个以上的NameNodes

3.0支持单active namenode+多standby namenode部署方式进一步提升了可用性。

5：MapReduce本地优化，性能提升了30%。

Pls:相比于1.0和2.0，3.0在实际使用过程中比较不稳定。

Hadoop1.0，2.0，3.0区别相关推荐

http与https的区别，http 1.0与1.1的区别
Http与Https的区别: HTTP 的URL 以http:// 开头,而HTTPS 的URL 以https:// 开头 HTTP 是不安全的,而 HTTPS 是安全的 HTTP 标准端口是80 , ...
VC++6.0和VC++2010的区别
VC6.0和VS2010最大的区别在于默认的字符集,VC6.0默认的字符集为ANSI,而VS2010默认的字符集为UNICODE. 这就造成了,VC6和VS2010在处理字符问题上的不同. 首 ...
使用 okHttp 3.0 版本前后的两点区别.（不要入坑哦）
OkHttp 优点: OkHttp会从很多常用的连接问题中自动恢复.如果您的服务器配置了多个IP地址,当第一个IP连接失败的时候,会自动尝试下一个IP.OkHttp还处理了代理服务器问题和SSL握手失 ...
HTTP 2.0与HTTP 1.0的区别？
HTTP 2.0与HTTP 1.0的区别 1.什么是HTTP 2.0 2.与HTTP 1.1相比,主要区别包括 3.HTTP/2为什么是二进制? 4.为什么 HTTP/2 需要多路传输? 5.消息头为 ...
vue2.0 $router和$route的区别
转载自 vue2.0 $router和$route的区别在vue2.0里页面参数是 this.$route.query或者 this.$route.params 接收router-link传的参数 ...
[vb]On Error GoTo 0和On Error resume区别
On Error GoTo 0 表示禁止当前过程中任何已启动的错误处理程序. On Error Resume Next 说明当一个运行时错误发生时,控件转到紧接着发生错误的语句之后的语句,并在此继续运 ...
简述raid 0 1 5 10的区别
简述raid 0 1 5 10的区别一.RAID卡概述 1.DELL阵列卡(RAID卡) RAID是英文Redundant Array of Independent Disks的缩写,中文简称为独立 ...
CSS中z-index:0 与 z-index:auto的区别
z-index:0 与 z-index:auto的区别区别: z-index: 0 会创建一个新的层叠上下文 z-index: auto 不会去创建 z-index: 0 会在 z-index: 上 ...
计算机命令vty是什么意思,华为交换机基础命令中user interface 0和user-interface vty 0的区别...
华为交换机中user interface 0和user-interface vty 0的区别为:渠道不同.du认证模式不zhi同.用户dao等级不同. 一.渠道不同 1.user interface ...
Pytorch：.max(0)和.max(1)的区别？
Pytorch 中.max(0)和.max(1)的区别是什么? 当我们有一个形状为 ( m , n ) (m, n) (m,n) 的 Tensor x x x 时,其中 m m m 表示行数, n n ...

Hadoop1.0，2.0，3.0区别

Hadoop 1.X，2.X区别：

HDFS角度：

mapreduce角度：

Hadoop 2.X和3.X区别：

Hadoop1.0，2.0，3.0区别相关推荐

最新文章

热门文章