Hadoop的NameNode与SecondaryNameNode,DataNode
NameNode：
主要任务是接收客户端的读写服务，
主要功能：
1,文件ownship和permission
2,文件包含哪些块
3,Block保存在哪个DataNode中（由DataNode每次启动时上报）
元数据MetaData在启动后会加载到内存中，其中1,2也会保存在磁盘的fsimage中，但是3不会保存在fsimage中
Edits：
记录对MetaData的操作日志，但是对MetaData的修改不会马上修改fsimage，而是将操作记录在edits中，每隔一定时间将edits和fsimage合并，并根据记录再edits中的操作对fsimage进行修改。
SecondaryNameNode：
SecondaryNameNode并不是NameNode的备份，但是可以完成一部分元数据的备份工作（因为会拷贝fsimage到SNN中）
SecondaryNameNode的主要工作是合并edits和fsimage文件，生成新的fsimage并传送给NameNode，替换NameNode中的旧的fsimage
DataNode：
1,存储数据block
2,每次启动时向NameNode汇报block信息,
3,主动发送心跳信息给NameNode（每3秒一次）
Block副本放置策略：
block1放在随便一个不太忙的节点，block2放在不同于Block1的机架的节点上，block3和block2放在同一个机架上的节点（保证速度）
Hadoop的NameNode与SecondaryNameNode,DataNode相关推荐
- Hadoop之NameNode和SecondaryNameNode工作机制详解
Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...
- Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
- 【Hadoop】HDFS三组件：NameNode、SecondaryNameNode和DataNode
HDFS主要由三个组件构成,分别是NameNode.SecondaryNameNode和DataNode,其中NameNode和SecondaryNameNode运行在master节点上,DataNo ...
- HDFS（下）：NameNode和SecondaryNameNode、HDFS工作机制、故障处理、集群安全模式、服役退役节点、集群黑白名单、DataNode多目录详解、HDFS2.x新特性
接上篇,上篇文章传送门:HDFS(上):HDFS优缺点.HDFS操作.HDFS客户端操作.HDFS的API.HDFS数据流.HDFS的IO流.HDFS读写数据流程.HDFS文件处理详解.windows ...
- 云服务器（阿里云，百度云，华为云，腾讯云）搭建Hadoop（Nameode，SecondaryNamenode，datanode）
写这篇文章是为了记录我自己在云平台上学习安装的过程,希望能为其他的同学提供一点帮助: 服务器类型 这里我使用的服务器有: node1 阿里云(学生机)Ubuntu (NameNode) node2 百 ...
- Hadoop问题：启动hadoop 2.6遇到的datanode启动不了
问题描述:第一次启动输入jps都有,第二次没有datanode 日志如下: 查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started H ...
- Hadoop中Namenode单点故障的解决方案
Hadoop中Namenode单点故障的解决方案 需求: 实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题. 方案描述: 当namenode所在服务器宕机的时候,我们 ...
- hadoop 2.6遇到的DataNode无法启动问题
一.问题描述 当我们多次格式化文件系统(hadoop namenode -format)时,会出现DataNode无法启动. 多次启动中发现有NameNode节点,并没有DataNode节点 如图所 ...
- Hadoop切换namenode为active
hadoop切换namenode为active 进入hadoop/bin目录下 ./yarn rmadmin -transitionToActive --forcemanual rm1 重新启动zkf ...
最新文章
- share extension 不显示_高亮显示系统日志应该用什么命令
- .NET仓储模式高级用例
- Python中的注释和算数运算符
- 宽带651以及光猫红色灯闪烁-故障维修
- 9.Excel数据透视表
- 设计模式--程序猿必备面向对象设计原则
- A* 寻路 +寻路演示(js)
- python 代码_如何让Python代码加速运行？
- 值得收藏！UI设计学习借鉴常用网站
- java class object_[java]Class类和Object类的关系
- hdu1247 Hat’s Words
- Windows 中不规则窗体的编程实现三种方法：CRgn,作图路径法,据图像创建region
- 高数符号用计算机表示,请问高等数学的符号怎么在电脑上打出来
- Convex Optimization 读书笔记 (2)
- LeetCode | 521. Longest Uncommon Subsequence I
- DHCP 协议（一）
- 破圈、增长、被加码，集合店能创造美妆行业新风口？
- [Unity][插件]游戏中显示FPS帧数
- 俄罗斯方块游戏开发 ——图形化编程java swing 项目
- Chrome审查元素一些介绍