HDFS成员的工作机制
Python微信订餐小程序课程视频
https://edu.csdn.net/course/detail/36074
Python实战量化交易理财系统
https://edu.csdn.net/course/detail/35475
1|0NameNode工作机制
nn负责管理块的元数据信息,元数据信息为fsimage和edits预写日志,通过edits预写日志来更新fsimage中的元数据信息,每次namenode启动时,都会将磁盘中的fsimage读入到内存当达到snn的checkpoint标准时(一小时或100W次操作),由scc辅助nn进行edits和fsimage的合并
2|0SecondaryNameNode的工作机制
scc向nn询问是否需要执行checkpoint,并且直接带回询问结果。scc请求执行checkpointnn滚动正在写的edits日志,将checkpoint以前的edits和fsimage拷贝给snnsnn将edits和fsimage加载到内存中并且合并,生成新的文件fsimage.checkpointsnn将新生成的fsimage.checkpoint拷贝给nn,nn将文件改名为fsimage
2|1***** Fsimage介绍 *****
FSImage 是 NameNode 自最后一次 CheckPoint 之前的全部元数据,并不是实时的数据FSImage 保存了 NameNode 管理下的所有 DataNode 的文件和目录信息(对文件来说:包括文件的 block、各个 block 所在的 DataNode,以及它们的修改时间、访问时间等对目录来说:包括修改时间、访问权限控制信息(权限、属组)等。)FSImage 默认会保存2个,由属性 dfs.namenode.num.checkpoints.retained 控制。
3|0DateNode工作流程
dn在启动后会向nn进行注册,汇报块信息,在注册成功后,默认每隔6小时向nn汇报一次块信息,每三秒与nn进行一次心跳,心跳会带回nn对dn的命令,如删除某数据块(如果超过10分钟+30秒没有与nn进行心跳则会认为次dn已经挂掉)集群运行中可以安全的加入和退出一些机器
__EOF__
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IL2xn5dh-1646327457860)(https://blog.csdn.net/MMarshall/p/15962581.html)]Marshall 本文链接:https://blog.csdn.net/MMarshall/p/15962581.html关于博主:评论和私信会在第一时间回复。或者直接私信我。版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!声援博主:如果您觉得文章对您有帮助,可以点击文章右下角**【[推荐](javascript:void(0)
HDFS成员的工作机制相关推荐
- HDFS的Secondarynamenode工作机制
HDFS 的元信息和 SecondaryNameNode 当 Hadoop 的集群当中, 只有一个 NameNode 的时候, 所有的元数据信息都保存在了 FsImage 与 Eidts 文件当中, ...
- 图解Hadoop hdfs的基本工作机制及相关概念
- HDFS的工作机制,HDFS写数据流程,HDFS读数据流程(来自学习资料)
4.hdfs的工作机制 (工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 注:很多不是真正理解hadoop技术体系的人会常常觉得HDF ...
- 深刻理解HDFS工作机制
深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径.对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节.在看这篇博文之前需 ...
- namenode和datanode工作机制_Hadoop的namenode的管理机制,工作机制和datanode的工作原理...
HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...
- HFDS 内部工作机制
HDFS 内部工作机制 HDFS集群分为两大角色:NameNode.DataNode (Secondary Namenode) NameNode 负责管理整个文件系统的元数据 DataNode 负责管 ...
- namenode和datanode工作机制_HDFS详解一:namenode、datanode工作原理
1. 概述HDFS集群分为两大角色:NameNode.DataNode(Secondary NameNode) NameNode负责管理整个文件系统的元数据,记录存放在哪些datanode中,以及存放 ...
- Hadoop大数据分布式文件系统hdfs的工作机制
HDFS集群分为两大角色:NameNode.DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 namenode工作机制 namenode职责: ...
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
最新文章
- 嵌入式开发有年龄限制吗_2021年考监理工程师有年龄限制吗?女生可以考监理工程师吗?...
- 【转】Android 4.3源码的下载和编译环境的安装及编译
- FFMPEG H264/H265 编码延迟问题
- 偈颂一首《静心莲》【心静如止水,雷打无波澜。佛前忏一刹,万千罪消融。】
- undefined: resolver.BuildOption undefined: resolver.ResolveNowOption 报错的解决办法
- java类中serialversionuid 作用 是什么?举个例子说明
- java 线程强制停止线程_java多线程之停止线程
- BitCome比特彗星v1.82豪华版(bt下载)
- 事务隔离级别和传播行为_.spring的事务有几种方式?spring事务的隔离级别和传播行为是什么?...
- 高通计划通过多层级骁龙5G移动平台 加速5G商业化
- Ionic3在ts中获取html中值的方法
- Rust 语言本身的问题
- ubuntu 14.04 nginx php mysql_Ubuntu 14.04安装Nginx+PHP+MySQL
- XBug:一个强大的JavaScript调试器
- MRAppMaster类
- 解决微信浏览器无法使用reload()刷新页面
- 动态开辟内存_C/C++工程师你理解程序的内存分区吗?
- Python从入门到数据分析第一篇—Python简介- Python介绍与初探
- Java8之深克隆与浅克隆
- linux环境vmd安装,如何在linux系统下安装VMD?
热门文章
- 在小故事中懂得10之内加法减法
- 深度Linux拨号软件,Deepin调校及相关资源、常用软件整合贴
- 3.5Redis的性能问题
- 抽象类和接口的区别,必须弄明白的
- JavaScript新的对象创建方式---Object.create()
- 专业系统维护:CleanMyMac X for mac
- Tikhonov 正则化模型用于图片去噪_matlab
- 加拿大曼尼托巴大学计算机专业几年,2020年加拿大曼尼托巴大学毕业时间是几月...
- 2021计算机研究生秋招总结
- 向量空间,子空间,列空间,零空间(PartIII)