fsimage文件丢失_hadoop fsimage edits关系

fsimage = name table , 存放namonode中所有数据，运行时数据加载到内存中存放

edits_inprogress 类似于LSM树中的Log，在向hdfs写的过程都向此文件存放，

当存的数据到一定程度/或者定期间隔多久，会把此文件内容跟新到fsimage

刚开始写数据时会同时向namonode内存和edit中写，

此时立刻读取刚写入的数据是读取namenode内存和原fsimage内存的数据,

在当edits的数据合并到fsimage时，在读取写入的那个数据就会在fsimage中读取。

1.SNN CheckPoint的处理流程

配置中配置做CheckPoint的两个条件，一个是文件大小editlog大于多大就做，另一个是时间维度，多长时间做一次。

(1)SNN首先检查是否需要进行checkpoint操作，如果上面两个条件任何一个满足了就可以

(2)通过RPC 向NameNode发送请求，rollEditLog()NameNode关闭现在的edit的stream，同时生成一个edit.new,并打开加入写入的源。

(3)SNN从NN处download fsimage文件和edit文件并进行merge

(4)merge结束后通知NN从SNN处拉去FSImage文件保存在NN的FSImage.ckpt上面

(5)一切顺利结束的话将edit.new重命名为edit,并open stream，将FSImage.ckpt重命名为FSImage,更新FSTime文件，更新时间戳

2、NN重启对Image和Edits的处理

先对各个目录的image和edit文件有效性进行判断，同时读取checkpoint的最近值。

如果image.ckpt存在，同时edit.new存在那么也许正进行一半，无法确定是否完成image拉取，删掉image.ckpt。否则将image.ckpt rename到image。

然后正常的读取FSImage，将edit merge进去。

如果存在edit.new 也merge进去。

fsimage文件丢失_hadoop fsimage edits关系相关推荐

fsimage文件丢失_Fsimage 与 EditLog定义及合并过程
fsimage文件:即命名空间映像文件,是内存中的元数据在硬盘上的checkpoint,包含文件系统中的所有目录和文件inode的序列化信息. edits:文件系统的写操作首先把它记录在edit中. ...
oiv 查看 Fsimage 文件和oev 查看 Edits 文件
oiv 查看 Fsimage 文件 1.进入目的路径 [lqs@bdc112 current]$ cd /home/lqs/module/hadoop-3.1.3/data/dfs/name/curr ...
HDFS NameNode fsimage文件corrupt了，怎么办
文章目录前言 NameNode fsimage corrupt场景 NameNode fsimage corrupt解决办法 NN fsimage corrupt的重现行为 NameNode的tra ...
oracle备份信息在控制文件丢失,恢复之利用备份在所有控制文件丢失情况下恢复（一）...
如果全部控制文件丢失,但是包含以前控制文件的备份,这时可以利用备份的控制文件进行恢复,不过在恢复后需要以RESETLOGS方式打开数据库. 根据联机重做日志文件是否可用和数据文件是否是最新的可以分为四 ...
mysql免安装版,遇到msvcr120dll文件丢失错误的解决方案
无法启动此程序,因为计算机中丢失MSVCR120.dll.这个怎么解决楼主你好,你可以重新下载一个msvcr120.dll文件,然后按如下步骤操作: 一.解压后直接拷贝该文件到系统目录里: 1.Wi ...
硬盘测试软件临界值,怕文件丢失？你该如何检测硬盘寿命状态呢？
大家好,我是dairy.随着固态硬盘的价格不断走低,不怕摔,传输速度更快的固态硬盘已经被更多的用户接受和使用了起来. 但是,就算已经是"1块钱可以买1GB"的时代了,还是有一部分人 ...
Android未找到分区,Android System分区文件丢失分析
客户节前报告system分区出现文件丢失的情况,看了一些log,有如下几种情况: (1)文件系统的inode变量或数据被修改,如目录长度变量,应该是一个几百的数值,被修改成错误的数据"1&q ...
计算机丢s7aregsx.dll,打开STEP7 显示：S7aregsx.dll 文件丢失-工业支持中心-西门子中国...
重新安装前把授权倒出来,通过STEP7授权管理器来倒可以直接通过控制面板进行卸载回答者: 半瓶醋- 中级工程师&nbsp&nbsp第10级 2013-09-06 09:49:34 ...
手机内存卡文件丢失删除怎么恢复呢
手机内存卡文件丢失删除怎么恢复呢我是一个比较拖拉的人,不管是生活上还是工作上都是这样,所以曾经多少次都被公司的领导责骂,虽然领导说我没责任心,工作不认真的时候我确实挺火的,自己的性格怎么可以和工作混 ...

fsimage文件丢失_hadoop fsimage edits关系

fsimage文件丢失_hadoop fsimage edits关系相关推荐

最新文章

热门文章