Hadoop的NameNode

1、NameNode Metadata

2、NameNode介绍
(1)是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
（2）文件包括：
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件。
fstime:保存最近一次checkpoint的时间。
以上这些文件是保存在linux的文件系统中。

3、NameNode的工作特点
（1）NameNode始终在内存中保存metedata,用于处理“读请求”
（2）到又“写请求”到来时，NameNode会首先写editlog到磁盘，即想edits文件中写日志，成功返回后，才会修改内存，并且向客户端返回。
(3)Hadoop会维护一个fsimage文件，也就是NameNode中metedata的镜像，但是fsimage不会随时与NameNode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。secondary NameNode就是用来合并fsimage和edits文件来更新NameNode的metedata的(更新合并之后，edits 文件会清空，fsimage会跟metadata数据同步)。
同步条件：时间、edits的文件最大值

Hadoop的NameNode相关推荐

Hadoop之NameNode和SecondaryNameNode工作机制详解
Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...
Hadoop切换namenode为active
hadoop切换namenode为active 进入hadoop/bin目录下 ./yarn rmadmin -transitionToActive --forcemanual rm1 重新启动zkf ...
Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案需求: 实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题. 方案描述: 当namenode所在服务器宕机的时候,我们 ...
Hadoop启动NameNode报错ERROR Cannot set priority of namenode process 2639
项目场景: Hadoop启动NameNode报错::ERROR: Cannot set priority of namenode process 问题描述: Hadoop启动NameNode报错ERR ...
Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详介AvatarNode
2019独角兽企业重金招聘Python工程师标准>>> 正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋.本文讨 ...
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
<ignore_js_op> 1)NameNode.DataNode和Client NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间.集 ...
Hadoop中Namenode单点故障的解决方案及详细介绍
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋.本文讨论一下为了解决这个问题而存在的几个solution. 1. Seconda ...
惭入佳境之HADOOP的NAMENODE不能正常启动的问题解决
注意到以下错误行不? java.io.FileNotFoundException: /app/hadoop/tmp/dfs/name/current/VERSION (Permission denie ...
配置Hadoop格式化namenode时报错cannot create directory /usr/local/hadoop/tmp/dfs/name/current
格式化namenode时,通过以下字句验证是否成功 status 0 为操作成功,status 1为操作失败,往上翻查找错误原因该错误是由于权限问题导致的我们通过 sudo su 进入root操作 ...
hadoop中namenode退出安全模式
为什么NameNode会处于安全模式? 1.NameNode发现集群中DataNode丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作. 2.HDFS集群即使 ...

Hadoop的NameNode

Hadoop的NameNode相关推荐

最新文章

热门文章