初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
一、元数据信息FSimage以及edits和secondaryNN的作用
1.1 FSImage与edits详解。
1.2 FSimage文件当中的文件信息查看。
1.3 edits当中的文件信息查看。
1.4 secondarynameNode如何辅助管理FSImage与Edits文件。

记忆词：

FSimage、edits、secondaryNN

B05 - 999、大数据组件学习② - Hadoop

ギ舒适区ゾ || ♂ 累觉无爱 ♀

一、元数据信息FSimage以及edits和secondaryNN的作用

也就是namenode就一个的时候，所有的元数据信息都保存在了FsImage与Eidts文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在了hdfs-site.xml当中。

<property><name>dfs.namenode.name.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property><property><name>dfs.namenode.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>

1.1 ~ FSImage与edits详解。

客户端对hdfs进行写文件时会首先被记录在edits文件中。
edits修改时元数据也会更新。
每次hdfs更新时，edits先更新后客户端才会看到最新信息。
fsimage：是namenode中关于元数据的镜像，一般称为检查点。
一般开始时对namenode的操作都放在edits中，为什么不放在fsimage中呢？
因为fsimage是namenode的完整的镜像，内容很大，如果每次都加载到内存的话生成树状拓扑结构，这是非常耗内存和CPU。
内容包含了namenode管理下的所有datanode中文件及文件block及block所在的datanode的元数据信息。随着edits内容增大，就需要在一定时间点和fsimage合并。

1.2 ~ FSimage文件当中的文件信息查看。

官方文档：

…
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html

# 使用命令 hdfs  oiv
cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current
hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml

1.3 ~ edits当中的文件信息查看。

官方文档：

…
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html

# 查看命令 hdfs  oev
cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
hdfs oev -i  edits_0000000000000000865-0000000000000000866 -o myedit.xml -p XML

1.4 ~ secondarynameNode如何辅助管理FSImage与Edits文件。

①：secnonaryNN通知NameNode切换editlog。

②：secondaryNN从NameNode中获得FSImage和editlog（通过http方式）。

③：secondaryNN将FSImage载入内存，然后开始合并editlog，合并之后成为新的fsimage。

④：secondaryNN将新的fsimage发回给NameNode。

⑤：NameNode用新的fsimage替换旧的fsimage。

完成合并的是secondarynamenode，会请求namenode停止使用edits,暂时将新写操作放入一个新的文件中（edits.new)。
secondarynamenode从namenode中通过http get获得edits，因为要和fsimage合并，所以也是通过http get 的方式把fsimage加载到内存，然后逐一执行具体对文件系统的操作，与fsimage合并，生成新的fsimage，然后把fsimage发送给namenode，通过http post的方式。
namenode从secondarynamenode获得了fsimage后会把原有的fsimage替换为新的fsimage,把edits.new变成edits。同时会更新fstime。
hadoop进入安全模式时需要管理员使用dfsadmin的save namespace来创建新的检查点。
secondarynamenode在合并edits和fsimage时需要消耗的内存和namenode差不多，所以一般把namenode和secondarynamenode放在不同的机器上。
fs.checkpoint.period: 默认是一个小时（3600s)
fs.checkpoint.size: edits达到一定大小时也会触发合并（默认64MB)

被酒莫惊春睡重，赌书消得泼茶香，当时只道是寻常。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾至此，元数据信息FSimage以及edits和secondaryNN的作用完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SELECT语句中使用MIN（列名）时，该“列名”应该：

…
A、必须是数值型或字符型
B、不限制数据类型
C、必须是数值型
D、必须是字符型
…
B

被酒莫惊春睡重，赌书消得泼茶香，当时只道是寻常。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

被酒莫惊春睡重，赌书消得泼茶香，当时只道是寻常。

B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用相关推荐

HDFS fsimage和edits合并实现原理
2019独角兽企业重金招聘Python工程师标准>>> 1. Hadoop 1.x 版本 fsimage和edits合并实现原理在NameNode运行期间,HDFS的所有更新操作都 ...
linux x和s 的区别,Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比
一.概述之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章,主要说了利用QJM进行HA部署以及其原理(http://www.linuxidc.com/Linux/2014-10/1 ...
Hadoop Namenode元数据文件 Fsimage、editlog、seen_txid说明
Hadoop NameNode元数据的$dfs.namenode.name.dir/current/文件夹有几个文件: current/ 2|-- VERSION 3|-- edits_* 4|-- ...
HDFS的fsimage和edits是什么、有什么作用
Fsimage,Edits详解目标:掌握Fsimage和Edits的作用. NameNode元数据解析 (1)第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启 ...
NameNode 和 SecondaryNameNode： Fsimage 和 Edits 解析、ovi命令、oev命令
文章目录 NameNode 和 SecondaryNameNode: Fsimage 和 Edits 解析.ovi命令.oev命令一.SecondaryNamenode, 专门用于 FsImage ...
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
【Hadoop-HDFS】HDFS中Fsimage与Edits详解
[Hadoop-HDFS]HDFS中Fsimage与Edits详解 1)概述 2)NameNode元数据解析 3)Fsimage 3.1.Fsimage 的作用 3.2.FSimage 的文件信息查看 ...
lucene正向索引（续）——域(Field)的元数据信息在.fnm里，在倒排表里，利用跳跃表，有利于大大提高搜索速度。...
4.1.2. 域(Field)的元数据信息(.fnm) 一个段(Segment)包含多个域,每个域都有一些元数据信息,保存在.fnm文件中,.fnm文件的格式如下: FNMVersion 是fnm文件 ...
jdbc获取mysql第二行表信息_【奇技淫巧】MySQL另类方法获取元数据信息
问:在进行MySQL注入时,我们通常是通过information_schema元数据来获取表名.字段名信息,从而读取相应数据.但是如果waf或其它过滤了information_schema关键字,那么 ...

B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用

初学耗时：0.5h

记忆词：

FSimage、edits、secondaryNN

一、元数据信息FSimage以及edits和secondaryNN的作用

1.1 ~ FSImage与edits详解。

1.2 ~ FSimage文件当中的文件信息查看。

官方文档：

1.3 ~ edits当中的文件信息查看。

官方文档：

1.4 ~ secondarynameNode如何辅助管理FSImage与Edits文件。

①：secnonaryNN通知NameNode切换editlog。

②：secondaryNN从NameNode中获得FSImage和editlog（通过http方式）。

③：secondaryNN将FSImage载入内存，然后开始合并editlog，合并之后成为新的fsimage。

④：secondaryNN将新的fsimage发回给NameNode。

⑤：NameNode用新的fsimage替换旧的fsimage。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾至此，元数据信息FSimage以及edits和secondaryNN的作用完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SELECT语句中使用MIN（列名）时，该“列名”应该：

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用相关推荐

最新文章

热门文章

B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用

初学耗时：0.5h

记忆词：

FSimage、edits、secondaryNN

一、元数据信息FSimage以及edits和secondaryNN的作用

1.1 ~ FSImage与edits详解。

1.2 ~ FSimage文件当中的文件信息查看。

官方文档：

1.3 ~ edits当中的文件信息查看。

官方文档：

1.4 ~ secondarynameNode如何辅助管理FSImage与Edits文件。

①：secnonaryNN通知NameNode切换editlog。

②：secondaryNN从NameNode中获得FSImage和editlog（通过http方式）。

③：secondaryNN将FSImage载入内存，然后开始合并editlog，合并之后成为新的fsimage。

④：secondaryNN将新的fsimage发回给NameNode。

⑤：NameNode用新的fsimage替换旧的fsimage。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，元数据信息FSimage以及edits和secondaryNN的作用完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SELECT语句中使用MIN（列名）时，该“列名”应该：

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

B05 - 033、元数据信息FSimage以及edits和secondaryNN的作用相关推荐

最新文章

热门文章

＾至此，元数据信息FSimage以及edits和secondaryNN的作用完成。