Secondary NameNode工作原理
一、NameNode 和 Secondary NameNode工作机制
工作流程图
二、CheckPoint 时间设置
虽然画的很复杂,但是我还是觉得尚硅谷讲的很清晰。感兴趣的可以参考上面大佬的博客。
三、NameNode故障处理
3.1方法一
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录
- kill -9 NameNode对应的进程
- 删除NameNode存储数据
rm -rf /opt/module/hadoop-2.8.3/data/tmp/dfs/name/ - 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
scp -r hadoop@hadoop-102:/opt/module/hadoop-2.8.3/data/tmp/dfs/namesecondary/* ./name - 重新启动NameNode
3.2方法二
使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中
1、修改hdfs-site.xml
<property><name>dfs.namenode.checkpoint.period</name><value>120</value>
</property><property><name>dfs.namenode.name.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>2、kill -9 namenode进程3、删除NameNode存储的数据
rm -rf /opt/module/hadoop-2.8.3/data/tmp/dfs/name/4、如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件
在dfs目录下执行
scp -r hadoop@hadoop-102:/opt/module/hadoop-2.8.3/data/tmp/dfs/namesecondary ./
进入namesecondary目录,删除in_use.lock文件
cd namesecondary
rm -rf in_use.lock5、导入检查点数据(等待一会ctrl+c结束掉)
hdfs namenode -importCheckpoint6、启动namenode
hadoop-daemon.sh start namenode
四、集群安全模式
4.1概述
NameNode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。但是此刻,NameNode运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。
系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中。在系统的正常操作期间,NameNode会在内存中保留所有块位置的映射信息。在安全模式下,各个DataNode会向NameNode发送最新的块列表信息,NameNode了解到足够多的块位置信息之后,即可高效运行文件系统。
如果满足“最小副本条件”,NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值:dfs.replication.min=1)。在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以NameNode不会进入安全模式。
4.2基本语法
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。
- bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)
- bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)
- bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)
- bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态,监控安全模式)
参考:https://www.jianshu.com/p/53e40d3b0f7d
Secondary NameNode工作原理相关推荐
- 简明扼要的HDFS元数据管理机制描述(NameNode和Secondary NameNode工作机制)
目录 一.思考: NameNode中的元数据是存储在哪里? 二.NameNode和Secondary NameNode工作机制 三.Fsimage和Edits概念 一.思考: NameNode中的元数 ...
- 大数据之-Hadoop之HDFS_NameNode和Secondary NameNode工作机制_通过文件的增删改查说明---大数据之hadoop工作笔记0070
然后我们再来说一下,hadoop的集群中的namenode节点的工作原理. 1.我们先来大体的了解一下,如果有客户端要来上传文件,这个过程,会先访问namenode,给namenode节点发送请求 2 ...
- Hadoop NameNode工作原理
1.namenode 与datanode 启动 namenode工作机制 1.第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启动,直接加载编辑日志和镜像文件到内 ...
- NameNode工作机制
一.NameNode和Secondary NameNode工作机制 1)第一阶段:namenode启动 (1)第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启动 ...
- Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
目录 前言: 1.NameNode的工作机制 2.DataNode的工作机制 3.Secondary Namenode的Check point机制 目录 前言: 在说明checkpoint机制之前,先 ...
- NameNode与DataNode的工作原理剖析
NameNode与DataNode的工作原理剖析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...
- namenode和datanode工作机制_Hadoop的namenode的管理机制,工作机制和datanode的工作原理...
HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...
- namenode和datanode工作机制_NameNode与DataNode的工作原理剖析
NameNode与DataNode的工作原理剖析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...
- namenode和datanode工作机制_HDFS详解一:namenode、datanode工作原理
1. 概述HDFS集群分为两大角色:NameNode.DataNode(Secondary NameNode) NameNode负责管理整个文件系统的元数据,记录存放在哪些datanode中,以及存放 ...
- NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)
NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中"性能调优"."nam ...
最新文章
- linux 窗口z order,wxPython窗口z-order设置
- 控件联动(三级联动)
- 【深入Java虚拟机JVM 04】JVM内存溢出OutOfMemoryError异常实例
- VTK:图片之DrawOnAnImage
- 苹果Xcode帮助文档阅读指南
- 关于PrintQueueCollection()类,跨线程调用错误“线程无法访问此对象,因为另一个线程拥有该对象”
- pytorch tensor 梯度
- BZOJ 1822 Frozen Nova 霜冻新星
- [转]如何写出让同事无法维护的代码?
- Atitit mybatis spring整合。读取spring、yml、文件的mysql url 步骤,读取yml,文件,使用ongl定位到url pwd usr 读取mybatis模板配置,
- wait放弃对象锁_121、抽象类和接口使用场合;wait和sleep
- docker配置阿里云镜像加速器
- oracle 11g instantclient
- 圆你导演梦:5款主流视频制作软件横评
- Domain Driven Design(领域驱动设计)
- 辨析NOR FLASH地址左右移的问题
- 【SPEA】T100BT 全能型电池测试仪——精度高、智能化
- 软件测试人力面试题(含答案)
- 面向对象嵌入式系统开发7-嵌入式系统的实现
- PROE塑胶产品结构标准设计视频教程灯具设计
热门文章
- 数据结构知识清单简要
- pos共识机制_PoW与PoS共识机制的优缺点介绍
- SQLserver提供的统计信息流已损坏
- Java根据模板生成PDF文件|添加盖章|添加水印
- python中sys路径_Python sys.path用法及代码示例
- python中sys.stdout和sys.stderr
- 计算机过程控制系统教材,过程控制系统——高等院校教材
- centos解压分卷rar_linux命令:tar分卷压缩与合并解压缩
- 常识性知识,高速快捷知识
- 拥有多丽体质特膳 你也能和女神般光彩照人