Hadoop2.0新特性

Hadoop2.0的改进

不断完善的Hadoop生态系统

Hadoop2.0新特性之HDFS HA

HDFS1.0存在单点故障问题,第二名称节点无法解决此问题
所以提出了HDFS HA(High Availability)

HA集群设置两个名称节点,活跃(Active)和待命(standby)
两种名称节点的状态同步,可以借助于一个共享存储系统来实现
一旦活跃名称节点出现故障,就可以立即切换到待命名称节点
Zookeeper确保一个名称节点对外服务
名称节点用于维护映射信息,数据节点同时向两个数据节点汇报信息

HDFS Federation

上面提到的HDFS HA用于解决单点故障问题,而水平扩展性受限,也无法解决系统性能和隔离性问题.

HDFS Federation设计

在HDFS Federation中，设计了多个相互独立的名称节点，使得HDFS的命名服务能够水平扩展，这些名称节点分别进行各自命名空间和块的管理，相互之间是联盟(Federation)关系，不需要彼此协调。并且向后兼容
HDFS Federation中，所有名称节点会共享底层的数据节点存储资源，数据节点向所有名称节点汇报
属于同一个命名空间的块构成一个“块池

HDFS Federation相对于Hadoop1.0的优势

HDFS Federation设计可解决单名称节点存在的以下几个问题：
(1) HDFS集群扩展性。多个名称节点各自分管一部分目录，使得一个集
群可以扩展到更多节点，不再像HDFS1.0中那样由于内存的限制制约文件
存储数目
(2) 性能更高效。多个名称节点管理不同的数据，且同时对外提供服务，
将为用户提供更高的读写吞吐率
(3) 良好的隔离性。用户可根据需要将不同业务数据交由不同名称节点
管理，这样不同业务之间影响很小

需要注意的，HDFS Federation并不能解决单点故障问题，也就是说，每个名称节点都存在在单点故障问题，需要为每个名称节点部署一个后备名称节点，以应对名称节点挂掉对业务产生的影响.

Hadoop2.0新特性相关推荐

JDK5.0新特性系列---目录
JDK5.0新特性系列---目录 JDK5.0新特性系列---1.自动装箱和拆箱 JDK5.0新特性系列---2.新的for循环 JDK5.0新特性系列---3.枚举类型 JDK5.0新特性系列--- ...
[转]C# 2.0新特性与C# 3.5新特性
C# 2.0新特性与C# 3.5新特性一.C# 2.0 新特性: 1.泛型List<MyObject> obj_list=new List(); obj_list.Add(new MyO ...
Servlet 3.0 新特性概述
Servlet 3.0 新特性概述 Servlet 3.0 作为 Java EE 6 规范体系中一员,随着 Java EE 6 规范一起发布.该版本在前一版本(Servlet 2.5)的基础上提供了若 ...
Redis 6.0 新特性-多线程连环13问！
来自:码大叔导读:支持多线程的Redis6.0版本于2020-05-02终于发布了,为什么Redis忽然要支持多线程?如何开启多线程?开启后性能提升效果如何?线程数量该如何设置?开启多线程后会不会有 ...
WCF4.0新特性体验(3):标准终结点（Standard Endpoints）
今天在WCF4.0新特性体验第3节,我们介绍WCF4.0里的标准终结点概念,也就是Standard Endpoints. WCF4.0提供了那些标准终结点?他们有什么作用?如何使用标准终结点?如何该表 ...
Servlet 2.0 Servlet 3.0 新特性
概念:透传. Callback 在异步线程中是如何使用的.?? Servlet 2.0 && Servlet 3.0 新特性 Servlet 2.0 && Servle ...
C#6.0，C#7.0新特性
C#6.0,C#7.0新特性 C#6.0新特性 Auto-Property enhancements(自动属性增强) Read-only auto-properties (真正的只读属性) Auto- ...
WCF4.0新特性体验(6):路由服务Routing Service（下）
紧接前文WCF4.0新特性体验(5):路由服务Routing Service(上).今天我们介绍WCF4.0消息路由的实现机制,然后会讲解路由服务的实现过程. [4]WCF与路由服务: 其实在介绍WC ...
【收藏】C# 2.03.0新特性总结
c#2.0新特性范型我们知道通用的数据结构可以采用object存储任何数据类型.使用object问题是: 显示的强制转带来的代码复杂性换装箱拆箱的性能损失(为什么有性能损失?因为涉及动态内存分配 ...