【hadoop】NameNode和SceondaryNameNode的工作机制
一、 为什么会存在这样的工作机制？
1.NameNode中的元数据是存储在哪里的？
（1）若是存储在NN节点的磁盘中，因为经常需要进行随机访问，或者是不断的被访问，还有要响应客户请求，效率必然很低，所以元数据需要存放在内存中，但如果存在内存中。一旦遇到突发状况，比如断电，元数据信息丢失，会造成集群瘫痪。
因此产生在磁盘中备份元数据的FsImage。
（2）可是又有新的问题，就是在NN做对客户的访问和响应客户的请求，同时还要更新fsimage，就会导致效率极其低，但是不更新，又会回到原来的断电数据丢失的情况。
因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。，这样一来，一旦NN节点突然挂掉，可以通过fsimage和edit的合并，合成元数据。
（3）但是，如果长时间添加数据道edits中，会导致该文件数据过于庞大，效率就会降低，而且断电后，恢复元数据需要时间就会很长很长(因为合并的过程时fsimage通过edits的操作数进行一步一步恢复，后面会讲)，因此需要定期进行fsimage和edits的合并，而且这个操作不能交给NN节点完成，不然效率会降低。
因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。
二、NameNode和SceondaryNameNode的工作机制图解析
第一阶段：NameNode启动
- 在对NN第一次启动服务后，会创建fsimage文件和edits文件(
做初始化-format的时候edits文件是不会生成，并不会初始化创建，只会创建一个fsimage)，如果不是第一次启动，则会加载NN节点中存在的fsimage和edits进行合并操作(CheckPoint)。 - 客户端对元数据进行增删改的请求。
- NN中的edits记录操作数，并在
2NN的请求是否需要CheckPoint后更新滚动日志 - NN在内存中对数据进行增删改
- 在对NN第一次启动服务后，会创建fsimage文件和edits文件(
第二阶段：Secondary NameNode工作
- 第一次启动的时候2NN的时候，
【hadoop】NameNode和SceondaryNameNode的工作机制相关推荐
- 深刻理解HDFS工作机制
深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径.对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节.在看这篇博文之前需 ...
- MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种: MapReduce 1 也就是Hadoop 2.0之前的工作机制 YARN MapReduce 1 构成 MapReduce 1最主要的其实就是 ...
- Hadoop之NameNode和SecondaryNameNode工作机制详解
Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...
- Hadoop生态圈（十三）- Namenode元数据管理及各组件工作机制
目录 前言 1. Namenode元数据管理 1.1 元数据是什么 1.2 元数据管理概述 1.2.1 内存元数据 1.2.2 磁盘元数据 1.2.2.1 fsimage内存镜像文件 1.2.2.2 ...
- Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
- Hadoop大数据分布式文件系统hdfs的工作机制
HDFS集群分为两大角色:NameNode.DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 namenode工作机制 namenode职责: ...
- namenode和datanode工作机制_Hadoop的namenode的管理机制，工作机制和datanode的工作原理...
HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...
- NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）
NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中"性能调优"."nam ...
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
最新文章
- 常用的数据结构-链表
- rs485调试软件_【乐创“芯”说】你想知道的RS485
- Java-工具类之ZIP压缩解压
- java两个日期之间的日期_获取两个日期之间的日期形成一个集合
- linux默认开启sudo_Sudo漏洞允许非特权Linux和macOS用户以root身份运行命令
- java jpa hibernate_java - JPA和Hibernate - Criteria与JPQL或HQL
- 使用Boost.Compute类在GPU上设置和运行简单的矢量加法内核
- 商用平板 移动金融潜力巨大的应用平台
- 台服海岛纪元显示无法连接服务器,打开海岛纪元提示网络异常或者连接不上
- 《Adobe Illustrator CS6中文版经典教程（彩色版）》—第0课0.14节使用画笔工具
- solidity教程-简介
- Windows XP SP3 VOL 简体中文正式版 V201106
- Java求抛物线输入角度速度_知道初速度和抛物线的角度，怎么计算落点
- css 平行四边形 梯形 组合_CSS-实现三角形、梯形、平行四边形、圆形、椭圆形、对话框、自适应正方形 Web程序 - 贪吃蛇学院-专业IT技术平台...
- 文件的三种加载方式（全网讲解最全，最严谨）
- python panda是什么_如何最简单、通俗地理解Python的pandas库？
- opensips代码分析
- 用VB.NET实现你的游戏梦想Java教程
- 建模中常用的30各MATLAB程序和函数
- x86 LEA 指令