参考： HDFS NameNode内存全景

1.概述

从NameNode涉及到的主要操作来讲，主要概念如下：

目录树：命名空间namespace
数据块管理
租约管理
FSNamesystem：NameNode逻辑门面类
NameNode HA下的启动与停止

从内存的角度来讲，分类如下：

元数据：
namespace
blockManager
NetWorkTopology
Other: 租约等

1. namespace

Namespace保存了目录树及每个目录/文件节点的属性。除在内存常驻外，这部分数据会定期flush到持久化设备上，生成一个新的FsImage文件。

在整个Namespace目录树中存在两种不同类型的INode数据结构：INodeDirectory和INodeFile.

2.blockManager

BlocksMap在NameNode内存空间占据很大比例，由BlockManager统一管理，相比Namespace，BlockManager管理的这部分数据要复杂的多。Namespace与BlockManager之间通过前面提到的INodeFile有序Blocks数组关联到一起。图5所示BlockManager管理的内存结构。

2. 类

1. INode

目录文件数据结构。

2. Feature

INode的其他属性：如配额等。

3. FSEditlog

editlog:实时更新。
1. transactionid
每一次客户端RPC对命名空间的修改，NN就会在editlog中发起一个新的transaction用于记录这次操作，会用唯一的transactionid来标识。

[hadoop@hadoop1 nn]$ tree
.
├── current
│   ├── edits_0000000000000000001-0000000000000000381
│   ├── edits_0000000000000000382-0000000000000010495
│   ├── edits_0000000000000010496-0000000000000010496
│   ├── edits_0000000000000010497-0000000000000010501
│   ├── edits_0000000000000010502-0000000000000028266
│   ├── edits_0000000000000028267-0000000000000028267
│   ├── edits_inprogress_0000000000000028268
│   ├── fsimage_0000000000000010495
│   ├── fsimage_0000000000000010495.md5
│   ├── fsimage_0000000000000028266
│   ├── fsimage_0000000000000028266.md5
│   ├── seen_txid
│   └── VERSION
└── in_use.lock

edits_startid~endid: 两个id之间的所有事务。
edits_inprogress: 正在处理的editlog。

2. FSEditlog状态机

NameNode概述相关推荐

一个小兔子的大数据见解2
Big Data 阿里的大数据解决方案 MAXCOMPUTE DATAWORKS QUICKBI 1.Vmware增强 2. 1.1.VMware 虚拟网络设备 1.1.1.虚拟网卡.虚拟交换机虚拟 ...
HDFS 的深入了解，深入浅出，面试必备（Hadoop的三部曲——上）
HDFS 1. HDFS 介绍 2. HDFS 重要特性 2.1 主从架构(master/slave 架构) 2.2 分块存储 2.3 命名空间(namespace) 2.4 Namenode元数据管 ...
7.HDFS之——NameNode的概述、自动Name的概述、NameNode HA 集群搭建
7.HDFS NameNode HA 7.1 NameNode HA概述所谓HA(High Availablity [əˌveɪlə'bɪləti] ),即高可用(7x24小时服务不中断).通过主备 ...
Hdfs NameNode中数据块、数据节点及副本状态概述
HDFS集群以Master-Slave模式运行,主要有两类节点:一个Namenode(即Master)和多个Datanode(即Slave). 在hdfs文件系统中,NameNode是HDFS中的 ...
Namenode主备切换或报 IPC Server handler 23 on 8020
转自:http://blog.csdn.net/u014033218/article/details/75570313 可能是以下原因,未测试: NameNode 高可用整体架构概述在 Hadoop ...
Hadoop：HDFS NameNode内存全景
原文转自:https://tech.meituan.com/namenode.html 感谢原作者一.概述从整个HDFS系统架构上看,NameNode是其中最重要.最复杂也是最容易出现问题的地方, ...
HDFS namenode 高可用（HA）搭建指南 QJM方式 ——本质是多个namenode选举master，用paxos实现一致性...
一.HDFS的高可用性 1.概述本指南提供了一个HDFS的高可用性(HA)功能的概述,以及如何配置和管理HDFS高可用性(HA)集群.本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解.有 ...
大数据入门第五天——离线计算之hadoop（上）概述与集群安装
一.概述根据之前的凡技术必登其官网的原则,我们当然先得找到它的官网:http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍: The Apache™ Hadoop® ...
apache hive 使用概述
2019独角兽企业重金招聘Python工程师标准>>> 1 产品概述 1.1 产品功能 Apache Hive数据仓库软件提供对存储在分布式中的大型数据集的查询和管 ...

NameNode概述