一、NameNode 和 Secondary NameNode工作机制

工作流程图

1)第一阶段:NameNode 启动
(1)第一次启动 NameNode 格式化后,创建 Fsimage 和 Edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)NameNode 记录操作日志,更新滚动日志。
(4)NameNode 在内存中对元数据进行增删改。
2)第二阶段:Secondary NameNode 工作
(1)Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode
是否检查结果。
(2)Secondary NameNode 请求执行 CheckPoint。
(3)NameNode 滚动正在写的 Edits 日志。
(4)将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
(5)Secondary NameNode 加载编辑日志和镜像文件到内存,并合并。

(6)生成新的镜像文件 fsimage.chkpoint。
(7)拷贝 fsimage.chkpoint 到 NameNode。
(8)NameNode 将 fsimage.chkpoint 重新命名成 fsimage。

二、CheckPoint 时间设置

2.1 通常情况下,SecondaryNameNode 每隔一小时执行一次。
2.2 一分钟检查一次操作次数,当操作次数达到 1 百万时,SecondaryNameNode 执行一次。

推荐阅读:尚硅谷官网--大数据视频教程。良心商家、没有给我任何广告费,如有侵权,请联系删除。
这篇博客也可以,写的很全: https://www.cnblogs.com/yinzhengjie/p/10679254.html

虽然画的很复杂,但是我还是觉得尚硅谷讲的很清晰。感兴趣的可以参考上面大佬的博客。

三、NameNode故障处理

3.1方法一

将SecondaryNameNode中数据拷贝到NameNode存储数据的目录

  1. kill -9 NameNode对应的进程
  2. 删除NameNode存储数据
    rm -rf /opt/module/hadoop-2.8.3/data/tmp/dfs/name/
  3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
    scp -r hadoop@hadoop-102:/opt/module/hadoop-2.8.3/data/tmp/dfs/namesecondary/* ./name
  4. 重新启动NameNode

3.2方法二

使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中

1、修改hdfs-site.xml
<property><name>dfs.namenode.checkpoint.period</name><value>120</value>
</property><property><name>dfs.namenode.name.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>2、kill -9 namenode进程3、删除NameNode存储的数据
rm -rf /opt/module/hadoop-2.8.3/data/tmp/dfs/name/4、如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件
在dfs目录下执行
scp -r hadoop@hadoop-102:/opt/module/hadoop-2.8.3/data/tmp/dfs/namesecondary ./
进入namesecondary目录,删除in_use.lock文件
cd namesecondary
rm -rf in_use.lock5、导入检查点数据(等待一会ctrl+c结束掉)
hdfs namenode -importCheckpoint6、启动namenode
hadoop-daemon.sh start namenode

四、集群安全模式

4.1概述

NameNode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。但是此刻,NameNode运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。
系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中。在系统的正常操作期间,NameNode会在内存中保留所有块位置的映射信息。在安全模式下,各个DataNode会向NameNode发送最新的块列表信息,NameNode了解到足够多的块位置信息之后,即可高效运行文件系统。
如果满足“最小副本条件”,NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值:dfs.replication.min=1)。在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以NameNode不会进入安全模式。

4.2基本语法

集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。

  1. bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)
  2. bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)
  3. bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)
  4. bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态,监控安全模式)

参考:https://www.jianshu.com/p/53e40d3b0f7d

Secondary NameNode工作原理相关推荐

  1. 简明扼要的HDFS元数据管理机制描述(NameNode和Secondary NameNode工作机制)

    目录 一.思考: NameNode中的元数据是存储在哪里? 二.NameNode和Secondary NameNode工作机制 三.Fsimage和Edits概念 一.思考: NameNode中的元数 ...

  2. 大数据之-Hadoop之HDFS_NameNode和Secondary NameNode工作机制_通过文件的增删改查说明---大数据之hadoop工作笔记0070

    然后我们再来说一下,hadoop的集群中的namenode节点的工作原理. 1.我们先来大体的了解一下,如果有客户端要来上传文件,这个过程,会先访问namenode,给namenode节点发送请求 2 ...

  3. Hadoop NameNode工作原理

    1.namenode 与datanode 启动 namenode工作机制 1.第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启动,直接加载编辑日志和镜像文件到内 ...

  4. NameNode工作机制

    一.NameNode和Secondary NameNode工作机制 1)第一阶段:namenode启动 (1)第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启动 ...

  5. Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明

    目录 前言: 1.NameNode的工作机制 2.DataNode的工作机制 3.Secondary Namenode的Check point机制 目录 前言: 在说明checkpoint机制之前,先 ...

  6. NameNode与DataNode的工作原理剖析

    NameNode与DataNode的工作原理剖析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...

  7. namenode和datanode工作机制_Hadoop的namenode的管理机制,工作机制和datanode的工作原理...

    HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...

  8. namenode和datanode工作机制_NameNode与DataNode的工作原理剖析

    NameNode与DataNode的工作原理剖析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...

  9. namenode和datanode工作机制_HDFS详解一:namenode、datanode工作原理

    1. 概述HDFS集群分为两大角色:NameNode.DataNode(Secondary NameNode) NameNode负责管理整个文件系统的元数据,记录存放在哪些datanode中,以及存放 ...

  10. NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)

    NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中"性能调优"."nam ...

最新文章

  1. linux 窗口z order,wxPython窗口z-order设置
  2. 控件联动(三级联动)
  3. 【深入Java虚拟机JVM 04】JVM内存溢出OutOfMemoryError异常实例
  4. VTK:图片之DrawOnAnImage
  5. 苹果Xcode帮助文档阅读指南
  6. 关于PrintQueueCollection()类,跨线程调用错误“线程无法访问此对象,因为另一个线程拥有该对象”
  7. pytorch tensor 梯度
  8. BZOJ 1822 Frozen Nova 霜冻新星
  9. [转]如何写出让同事无法维护的代码?
  10. Atitit mybatis spring整合。读取spring、yml、文件的mysql url 步骤,读取yml,文件,使用ongl定位到url pwd usr 读取mybatis模板配置,
  11. wait放弃对象锁_121、抽象类和接口使用场合;wait和sleep
  12. docker配置阿里云镜像加速器
  13. oracle 11g instantclient
  14. 圆你导演梦:5款主流视频制作软件横评
  15. Domain Driven Design(领域驱动设计)
  16. 辨析NOR FLASH地址左右移的问题
  17. 【SPEA】T100BT 全能型电池测试仪——精度高、智能化
  18. 软件测试人力面试题(含答案)
  19. 面向对象嵌入式系统开发7-嵌入式系统的实现
  20. PROE塑胶产品结构标准设计视频教程灯具设计

热门文章

  1. 数据结构知识清单简要
  2. pos共识机制_PoW与PoS共识机制的优缺点介绍
  3. SQLserver提供的统计信息流已损坏
  4. Java根据模板生成PDF文件|添加盖章|添加水印
  5. python中sys路径_Python sys.path用法及代码示例
  6. python中sys.stdout和sys.stderr
  7. 计算机过程控制系统教材,过程控制系统——高等院校教材
  8. centos解压分卷rar_linux命令:tar分卷压缩与合并解压缩
  9. 常识性知识,高速快捷知识
  10. 拥有多丽体质特膳 你也能和女神般光彩照人