Hadoop 2.0联邦机制
前言:Hadoop2.0中的联邦机制
出现原因
元数据存储在NameNode的内存中,因此集群规模受限于单个NameNode的内存大小。HDFS联邦(Federation)提供了一种解决单组名称节点(NameNode)局限性问题的水平扩展方案
概念
Federation是指HDFS集群可使用多个独立的NameSpace(命名空间,由NameNode节点管理,有ANN和SNN)来满足HDFS命名空间的水平扩展,这些命名空间彼此隔离,但共享所有DataNode的存储资源,协同存储DataNode的元数据(用BlockPoolId区分)
HDFS联邦使用多组名称节点和名称空间(NameSpaces),所有的名称节点相互独立,构成联邦,各自分工独立管理自己的区域,无需互相协调。
HDFS联邦架构与单组名称节点架构设计的不同:
(1)HDFS联邦架构在集群中由多组名称节点(NameNode)同时对外提供服务。
(2)名称空间(NameSpace)也被水平拆分为多个独立部分,分别由彼此之间相互隔离的名称节点来管理
数据节点(Datanode)共享集群中所有的数据存储资源。
联邦机制的优点
(1)HDFS集群扩展性。每个NameNode分管一部分Namespace,相当于Namenode是一个分布式的。
(2)性能更高效。多个NameNode同时对外提供服务,提供更高的读写吞吐率。
(3)良好的隔离性。用户可根据需要将不同业务数据交由不同NameNode管理,这样不同业务之间影响很小。
(4)Federation良好的向后兼容性,已有的单Namenode的部署配置不需要任何改变就可以继续工作。
联邦架构的局限性
(1)交叉访问问题。由于多个命令空间的存在,它们相互独立,如果一个操作要访问多个文件路径,需要交叉访问多个名称空间,产生交叉访问题。
(2)集群管理性问题。启用联邦机制后,过去的一些HDFS管理命令,如“hdfsdfsadmin、hdfsfsck”等无法使用,给集群管理员的日常集群管理带来一定麻烦。
admin、hdfsfsck”等无法使用,给集群管理员的日常集群管理带来一定麻烦。
Hadoop 2.0联邦机制相关推荐
- Hadoop 2.0(YARN/HDFS)学习资料汇总
本文档整理了迄今为止Hadoop 2.0(包括YARN和HDFS2)相关的一些学习资料,包括文档.技术博客.Hadoop书籍等,欢迎大家补充,我将持续更新这个页面. 1. PDF资料 (1)" ...
- 大数据-HADOOP高可用、联邦机制- 学习笔记 -BH4
HADOOP高可用.联邦机制 正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制 HA的运作机制 hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小时不中断服务),实 ...
- Hadoop笔记(5)HA和联邦机制
前面我们已经介绍过了,Hadoop内部有两个master/slave架构,分别是:namenode+datanode,resourcemanager+nodemanager,分别对应Hadoop的两个 ...
- Hadoop Federation联邦机制
Hadoop1.0 单namenode架构局限性 NameSpace(命名空间的限制) 由于Namenode在内存中存储所有的元数据(metadata).NN在管理大规模的命名空间时,单个Nameno ...
- 2021年大数据Hadoop(十五):Hadoop的联邦机制 Federation
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 Hadoop的联邦机制 Federation 背景概述 F ...
- Hadoop之ReduceTask工作机制
Hadoop之ReduceTask工作机制 目录 设置ReduceTask并行度(个数) 注意 实验:测试reducetask多少合适 ReduceTask工作机制 1. 设置ReduceTask并行 ...
- Hadoop 04_Hadoop2.0
Hadoop1.0的弊端导致人们再次改进技术 Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用.扩展性等方面存在问题 HDFS存在的问题(2个) NameNo ...
- Hadoop 2.0 中的资源管理框架 - YARN(Yet Another Resource Negotiator)
1. Hadoop 2.0 中的资源管理 http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/ Hadoop ...
- Hadoop 3.0 纠删码技术分析(Erasure Coding)
背景 随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用.为了数据的可靠性,HDFS通过多副本机制来保证.在HDFS中的每一份数据都有两个副本,1TB的原始数据需要占用3TB ...
最新文章
- 怎样使一个Android应用不被杀死?(整理)
- 158行Python代码复现:DeepMind提图像生成的递归神经网络DRAW
- 如何用命令行刷新,启用,禁用Magento2的缓存
- 10th blog:Object
- cv::mat 颜色空间_网站设计基础:负空间
- ssh-scan处理手记
- Ubuntu下virtualenv 安装
- java 面向对象基础
- extjs 右下角弹出消息框
- unity animator 动画 结束后保持位移_Unity动画系统详解9:Target Matching是什么?
- [转]网页板块设计研究
- Oracle执行计划
- 2020年7月19日训练总结
- css3新增属性sticky
- 简单教学 apache 配置 Expire/Cache-Control 头
- java身份证格式强校验
- USB 调试工具(python2.7 + Tkinter + pyusb/pywinusb)
- 网站密码明文传输解决方案js+java
- 如何把一组计算机做成云,旧电脑如何变成云电脑?进来了解下云电脑
- IntelliJ idea使用
热门文章
- Android 计步功能-简单实现
- 大话WiFi省电模式
- PAT甲级1133 Splitting A Linked List:[C++题解]链表
- linux下如何查看程序写入内存数据_linux到底如何正确关机
- html表格数据点击事件,如何在iview的table单元格里实现点击事件?
- oracle dbcontrol界面,oracle enterprise manager配置简介
- responsebody如何将数据转换成json的_干货分享:如何用Retrofit直接获得Json数据(字符串)...
- java 快排非递归_C++ 中快排的递归和非递归实现
- 棋盘最短路径 python_Dijkstra 最短路径算法 Python 实现
- php编译减少大小,C++_减小VC6编译生成的exe文件的大小的方法,1、减小VC6编译生成的exe文件的 - phpStudy...