2018-3-11 HDFS2.X

HDFS 2.X

资源：

hadoop(二):hdfs HA原理及安装 - 天戈朱 - 博客园
https://www.cnblogs.com/tgzhu/p/5790565.html

Facebook AvatarNode：Facebook有强大的运维做后盾，所以Avatarnode只是Hot Standby，并没有自动切换，当主NN失效的时候，需要管理员确认，然后手动把对外提供服务的虚拟IP映射到Standby NN，这样做的好处是确保不会发生脑裂的场景。其某些设计思想和Hadoop 2.0里的HA非常相似，从时间上来看，Hadoop 2.0应该是借鉴了Facebook的做法

Facebook AvatarNode 原理示例图

PrimaryNN与StandbyNN之间通过NFS来共享FsEdits、FsImage文件，这样主备NN之间就拥有了一致的目录树和block信息；而block的位置信息，可以根据DN向两个NN上报的信息过程中构建起来。这样再辅以虚IP，可以较好达到主备NN快速热切的目的。但是显然，这里的NFS又引入了新的SPOF
在主备NN共享元数据的过程中，也有方案通过主NN将FsEdits的内容通过与备NN建立的网络IO流，实时写入备NN，并且保证整个过程的原子性。这种方案，解决了NFS共享元数据引入的SPOF，但是主备NN之间的网络连接又会成为新的问题

hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下：

（1）一个集群可以存在多个NN，但是一个集群中只能有一个NN正在工作。其中正在工作的NN称为Active NN；没有工作的NN为Standby NN

（2）Standby NN的主要作用就是防止单点故障，它会在主NN换掉的一瞬间接管主NN的数据

为了完成接管工作

（1）Standby NN和Active NN同时接受DN的汇报（汇报内容是Block 的位置信息）

（2）在Active NN工作的时候会产生edit 文件也就是日志文件，为了进行接管，则日志文件就不能只存在Active 的磁盘上。就需要通过共享的形式，让Standby NN也可以访问到Edit文件，可以进行相应的恢复与记录

NameNode 功能

（1）接收客户端的读写

（2）存放元数据

2018-3-11 HDFS2.X相关推荐

2018年工业机器人销量排位_长安-2018年11月汽车销量细分销量
根据盖世汽车社区-销量数据库查询,为广大汽车行业人士整理了长安-2018年11月细分销量(按变速箱)数据如下: 变速箱类型九月十月十一月累计 4AT[TS-40/Ss-II] 4,655 4, ...
训练日志 2018.10.11
这两天一直在弄树形DP,至此除了概率DP还没看,DP 专题基本就告一段落了,这个学期还剩下三个月左右,图论.数据结构.计算几何三个专题一个月一个. 之前学的一些算法还是掌握的不牢,打算先花一个星期左右 ...
暑期训练日志----2018.8.11
训练第13天. 上午A了几个题,下午服务器崩了就回去睡觉了,然后晚上又A了几个今天收获最大的就是明白怎么组合使用 Pollard Rho 算法与 Miller Rabin 算法,求大整数的所有因子 ...
泸州职称计算机,2018年11月四川泸州职称计算机考试10月8日开始报名
[导语]2018年11月四川泸州职称计算机考试报名安排已发布,以下是无忧考网为您介绍了职称计算机考试时间.报名时间等,希望对大家有帮助,更多资料敬请关注无忧考网职称计算机考试频道,我们会为您及时更新相 ...
CocoaPods管理iOS项目 2018年11月06日
一.创建Test工程项目二.打开终端当前pod版本(1.6.0.beta.2最新版本2018年11月06日)和gem源路径(https://gems.ruby-china.com): 1.cd+当 ...
python编程入门与案例详解-quot;Python小屋”免费资源汇总（截至2018年11月28日）...
原标题:"Python小屋"免费资源汇总(截至2018年11月28日) 为方便广大Python爱好者查阅和学习,特整理汇总微信公众号"Python小屋"开通29 ...
苏嵌//张福辉//2018.7.11
苏嵌 ...
2018双11万家互联网门店参战:看苏宁的撩人新姿势
第十个"双11"已然来临,2018年的双11大战似乎比往年来的更早了一些.而且,突破线上线下联动的场景互联和全客群覆盖嘉年华成为本次双11最大的亮点,原本稍显暗淡的互联网门店也开始 ...
逆水寒服务器维护公告,《逆水寒》2018年11月29日更新公告
各位自在同门: 为了保证服务器的运行稳定和服务质量,<逆水寒>将于2018年11月29日早8:00停机进行维护工作,预计维护到上午10:00.如在维护期间无法完成维护内容,开机时间将顺延. ...
2018年11月总结，12月计划
2018年11月总结,12月计划 11月总结书籍 <浪潮之巅> <Spring 微服务实战> <Spring Cloud 微服务实战> <安德的游戏> ...

2018-3-11 HDFS2.X

2018-3-11 HDFS2.X相关推荐

最新文章

热门文章