HDFS的fsimage和edits是什么、有什么作用
Fsimage,Edits详解
目标:掌握Fsimage和Edits的作用。
NameNode元数据解析
(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)namenode记录操作日志,更新滚动日志。
(4)namenode在内存中对数据进行增删改查。
fsimage保存了最新的元数据检查点,在HDFS启动时加载fsimage的信息,包含了整个HDFS文件系统的所有目录和文件的信息。
对于文件来说包括了数据块描述信息、修改时间、访问时间等。
对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。
editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到editlog中。
Fsimage,editlog主要用于在集群启动时将集群的状态恢复到关闭前的状态。
为了达到这个目的,集群启动时将Fsimage、editlog加载到内存中,进行合并,合并后恢复完成。
元数据信息目录的配置
hdfs-site.xml当中
<property>
<name>dfs.namenode.name.dir</name>
<value>
file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas
</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>
file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/edits
</value>
</property>
HDFS的fsimage和edits是什么、有什么作用相关推荐
- 【Hadoop-HDFS】HDFS中Fsimage与Edits详解
[Hadoop-HDFS]HDFS中Fsimage与Edits详解 1)概述 2)NameNode元数据解析 3)Fsimage 3.1.Fsimage 的作用 3.2.FSimage 的文件信息查看 ...
- HDFS fsimage和edits合并实现原理
2019独角兽企业重金招聘Python工程师标准>>> 1. Hadoop 1.x 版本 fsimage和edits合并实现原理 在NameNode运行期间,HDFS的所有更新操作都 ...
- linux x和s 的区别,Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比
一.概述 之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章,主要说了利用QJM进行HA部署以及其原理(http://www.linuxidc.com/Linux/2014-10/1 ...
- hdfs里的文件下载HDFS之fsimage、metadata、edits、fstime(二十七)
不多说,直接上干货! 首先,要有这个观念,元数据信息(fsimage + editslog). fsimage是在磁盘 metadata是在内存 ********************fsimage ...
- B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用
初学耗时:0.5h 注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端. 一.元数据信息FSimage以及edits和secondaryNN的作用 1.1 FSImage与 ...
- HDFS NameNode fsimage文件corrupt了,怎么办
文章目录 前言 NameNode fsimage corrupt场景 NameNode fsimage corrupt解决办法 NN fsimage corrupt的重现行为 NameNode的tra ...
- NameNode 和 SecondaryNameNode: Fsimage 和 Edits 解析、ovi命令、oev命令
文章目录 NameNode 和 SecondaryNameNode: Fsimage 和 Edits 解析.ovi命令.oev命令 一.SecondaryNamenode, 专门用于 FsImage ...
- Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
- 0464-如何离线分析HDFS的FsImage查找集群小文件
Fayson的github: https://github.com/fayson/cdhproject 推荐关注微信公众号:"Hadoop实操",ID:gh_c4c535955d0 ...
最新文章
- Dirichlet分布与多项分布的共轭性
- Serv-u 10.3 的图文安装教程及使用方法
- gitlab ci 配置 java_GitLab CI/CD 配置
- pytorch 中的 split
- php与mysqli,如何通过PHP与MySQLi保持联系
- linux挂载windows上的共享文件夹
- java连接SqlServer2000
- Microled简介及关键工艺(巨量转移)
- 史密斯圆图串并联口诀_史密斯圆图基本原理及应用.ppt
- android外设按键,Android 外接键盘的按键处理 .
- 城市历年人均GDP API数据接口
- 标准结构篇:7)塑料齿轮轮系设计总章
- 2022-2027年中国建筑施工机械租赁市场规模预测及投资战略咨询报告
- PHP 文字生成透明图片之路
- 三相MMC并网逆变器/模块化多电平变换器/相间环流抑制/子模块电容电压均衡/载波移相调制
- 音频和视频的基础知识
- 【SpringBoot入门】SpringBoot的配置
- 关于佳能打印机墨盒的一些操作
- 中文预处理流程(以搜狐语料全网新闻数据为例)
- 运营商大数据精准获客是怎么做到的?企业如何以低成本获取精准客户?