一、什么是checkpoint？

简单来说，若不使用HA时，hadoop的checkpoint机制就是主节点的元数据备份机制，通过Secondary Namenode，每隔一段时间将Name Node的元数据更新并备份，然后返回fsimage给Name Node，供其下次启动时读取

二、具体原理

原理图

首先，有一个主节点Name Node（NN），同时还有一个Secondary NameNode（SNN），可将SNN看作NN的“秘书”，这个“秘书”默认每隔60分钟，都会通知NN滚动更新日志信息edits，以便后续的元数据备份操作

要知道，元数据是保存在内存当中的，这样就使得元数据很容易丢失，但是由于NN工作量已经很大，要管理众多DataNode，还要更新操作日志文件edits等，若同时还要将元数据信息序列化到本地磁盘中，这样是非常慢且耗费资源的，所以此时SNN就会开始其工作，代替NN完成元数据的保存工作

当集群启动时，NN和SNN都会启动，NN启动后会读取最新的fsimage文件，读到较新的元数据信息，同时还会读取最新的日志信息，根据日志信息的内容“回滚”上一次开机时的操作信息，这样即可保证当前的元数据信息是完整正确的

SNN会隔一段时间就去NN下载其fsimage文件和众多edits文件，下载到SNN的本机上，然后将fsimage反序列化到内存中，同时“回放”众多日志文件中的操作信息，更新补全元数据，元数据更新完毕后，SNN就会将该元数据对象序列化到本地磁盘中，然后再将该元数据对象发送给NN，供其下一次开机读取

上述内容就是简略的checkpoint机制，其实有许多参数是可以设置的，不过一般都是用默认值，例如NN中最多只会保留两份最新的fsimage文件，最多保留10000个最新的edits文件，最多保留1000000条操作记录等等

Hadoop原理之checkpoint机制相关推荐

flink checkpoint 重启_Flink进阶教程：Checkpoint机制原理剖析与参数配置
在Flink状态管理详解:Keyed State和Operator List State深度解析这篇文章中,我们介绍了Flink的状态都是基于本地的,而Flink又是一个部署在多节点的分布式引擎,分布 ...
Flink CheckPoint机制学习测试使用FsStateBackend状态后端将checkpoint恢复到中断处
Flink CheckPoint机制 1.实验目的目的开启一个Flink程序,使用hdfs做状态后端,手动取消job后,再次恢复job测试,观察程序是否能恢复到检查点,继续读取并处理数据: 实验原 ...
Flink的CheckPoint机制
这里已经是Flink的第三篇原创啦.第一篇:Flink入门讲解了Flink的基础和相关概念,第二篇:压背原理,讲解了什么是背压,在Flink背压大概的流程是怎么样的. 这篇来讲Flink另一个比较重要 ...
Flink Checkpoint机制分析
原创作品,转载请标明:http://blog.csdn.net/xiejingfa/article/details/105439802 可靠性是分布式系统实现必须考虑的因素之一.Flink基于Chan ...
Flink CheckPoint机制简介
概述 Checkpoint是Flink实现容错机制最核心的功能,它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照,从而将这些状态数据定期持久化存储下来,当Fli ...
Android 插件化原理学习 —— Hook 机制之动态代理
前言为了实现 App 的快速迭代更新,基于 H5 Hybrid 的解决方案有很多,由于 webview 本身的性能问题,也随之出现了很多基于 JS 引擎实现的原生渲染的方案,例如 React Nat ...
李洪强iOS开发之RunLoop的原理和核心机制
李洪强iOS开发之RunLoop的原理和核心机制搞iOS之后一直没有深入研究过RunLoop,非常的惭愧.刚好前一阵子负责性能优化项目,需要利用RunLoop做性能优化和性能检测,趁着这个机会深入研 ...
以太坊完整工作原理和运行机制！
以太坊完整工作原理和运行机制! 2018年04月28日 00:00:00 阅读数:26 作者 | Preethi Kasireddy 编译 | 老曹.Aholiab 链圈的人提起「以太坊」三个字想必是 ...
Android 插件化原理解析——Hook机制之AMSPMS
在前面的文章中我们介绍了DroidPlugin的Hook机制,也就是代理方式和Binder Hook:插件框架通过AOP实现了插件使用和开发的透明性.在讲述DroidPlugin如何实现四大组件的插件 ...
Hadoop之Yarn工作机制详解
Hadoop之Yarn工作机制详解目录 Yarn概述 Yarn基本架构 Yarn工作机制作业提交全过程详解 1. Yarn概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于 ...

Hadoop原理之checkpoint机制

一、什么是checkpoint？

二、具体原理

原理图

Hadoop原理之checkpoint机制相关推荐

最新文章

热门文章