HADOOP-Checkpoint原理

以下即是checkpoint过程：

辅助Namenode请求主Namenode停止使用edits文件，暂时将新的写操作记录到一个新文件中，如edits.new。
辅助Namenode节点从主Namenode节点获取fsimage和edits文件（采用HTTP GET）
辅助Namenode将fsimage文件载入到内存，逐一执行edits文件中的操作，创建新的fsimage文件
辅助Namenode将新的fsimage文件发送回主Namenode（使用HTTP POST）
主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件，用步骤1产生的edits.new文件替换旧的edits文件（即改名）。同时更新fstime文件来记录检查点执行的时间

转载于:https://www.cnblogs.com/bobsoft/archive/2012/10/07/2714487.html

HADOOP-Checkpoint原理相关推荐

HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
Hadoop运行原理之Spill, Shuffle
Shuffle阶段又可以分为Map端的shuffle和Reduce端的Shuffle. 一.Map端的shuffle Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘(转者注: 这个中 ...
Flink大数据实时计算系列-Flink的CheckPoint原理 Flink分布式环境下的CheckPoint原理
Flink大数据实时计算系列-Flink的CheckPoint原理 Flink分布式环境下的CheckPoint原理 Flink的CheckPoint
兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理
本文来自:石杉的架构笔记目录一.前奏二.HDFS的NameNode架构原理一.前奏 Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术. 包括HDFS(分布式文件系统),YARN ...
Hadoop HA原理
Hadoop HA(High Available)经过同时配置两个处于Active/Passive模式的Namenode来解决上述问题,分别叫Active Namenode和Standby Namen ...
深入浅出：hadoop架构原理
一.前奏 Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术. 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等. 有些朋友可能 ...
Hadoop 底层原理介绍
1 概述 Apache Hadoop是一个软件框架,可在具有数千个节点和PB级数据的大型集群上进行分布式处理. Hadoop主要包含四个项目:Hadoop Common.Hadoop分布式文件系统(H ...
【大数据入门】Hadoop技术原理与应用之基于Hadoop的数据仓库Hive
基于Hadoop的数据仓库Hive 文章目录基于Hadoop的数据仓库Hive @[toc] 6.1 概述 6.1.1 数据仓库概念 6.1.2 传统数据仓库面临的挑战 6.1.3 Hive简介 6 ...
Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化
这里写目录标题 flink checkpint出错类型 flink 重启策略 Checkpint 流程简介增量Checkpoint实现原理 MemoryStateBackend 原理 FsState ...
Hadoop工作原理浅析
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统.最核心的模块包括Hadoop Common.HDFS与MapReduce. HDFS HDFS是Hadoop分布式文件系统(H ...

HADOOP-Checkpoint原理

HADOOP-Checkpoint原理相关推荐

最新文章

热门文章