大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077

然后我们再来看一下hadoop中,datanode的工作机制.

1.datanode1,比如启动的时候,它会向namenode进行注册,把自己的信息,比如我存了哪些block块信息,

块中存了块数据,以及块数据的长度,以及数据的校验和,以及块数据的时间戳.把这些信息发给namenode节点

2.然后namenode收到datanode1发过来的注册信息以后,把信息存到自己的元数据映射表中,然后给datanode1发送一条,注册成功的信息

3.datanode1收到,namenode返回的注册成功的信息以后,随后,每隔1个小时,还会上报自己的快信息,给namenode.,告诉namenode,哪些块信息是完好的,这个默认是6小时,当然可以自己设置.

4.然后datanode还会每隔3秒给,namenode发送心跳请求,namenode收到以后,给datanode回复的时候,有可能消息中会带有给datanode的一些命令等等.

5.如果namenode超过10分钟,+30秒,因为检测需要30秒,还没有收到datanode的心跳请求的话,namenode这个时候就会认为该datanode节点已经挂掉了,就会把自己的该datanode节点的信息,都删除,也不会给该datanode再发送指令信息了.

然后,上面说datanode会每隔6个小时像namenode,汇报自己的块信息,实际上就是修改

下面的配置文件的内容.

大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077相关推荐

数据透视表可以两列汇总列吗_列出所有数据透视表样式宏
数据透视表可以两列汇总列吗 When you create a pivot table, a default PivotTable Style is automatically applied. Yo ...
大数据之-Hadoop之HDFS_hadoop集群中的安全模式_原理---大数据之hadoop工作笔记0074
我们说namenode启动的时候,会把fsimage,载入内存,然后执行edits中的各项操作,这个操作做完以后,内存中就有了, 文件系统元数据的镜像了,这个时候就去再创建一个新的Fsimage文件和 ...
大数据之-Hadoop之HDFS_NameNode和Secondary NameNode工作机制_通过文件的增删改查说明---大数据之hadoop工作笔记0070
然后我们再来说一下,hadoop的集群中的namenode节点的工作原理. 1.我们先来大体的了解一下,如果有客户端要来上传文件,这个过程,会先访问namenode,给namenode节点发送请求 2 ...
大数据之-Hadoop之HDFS_NameNode故障处理_NameNode元数据恢复_案例---大数据之hadoop工作笔记0073
然后我们再说一下,如果我们的namenode,如果出问题了,挂了,怎么办,所有的元数据都在namenode存着呢对吧. 这里如果namenode的元数据丢了怎么办呢? 我们怎么恢复他的元数据. 假如n ...
2021年大数据HBase（十四）：HBase的原理及其相关的工作机制
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 HBase的原理及其相关的工作机制一.HBase的flus ...
大数据之-Hadoop3.x_了解一下hive和hbase的区别---大数据之hadoop3.x工作笔记0084
全部都是文字,简单说一下自己的理解,hive和hbase都是基于hadoop的,但细节不同,对于开发来说,hive提供了类似sql的操作,支持jdbc,你写了sql以后他可以自己帮你转换为MapRed ...
大数据之-Hadoop3.x_MapReduce_ReduceTask工作机制并行度---大数据之hadoop3.x工作笔记0125
然后我们继续看一下maptask的工作机制,这个前面也有提过了, 可以看到左边是maptask处理完的数据,然后到了reduceTask阶段,会首先把数据拉取过来当然,是按照分区拉取的对吧.这是co ...
1.1 大数据简介-hadoop-最全最完整的保姆级的java大数据学习资料
文章目录 1 hadoop-最全最完整的保姆级的java大数据学习资料 1.1 大数据简介 1.1.1 大数据的定义 1.1.2 大数据的特点 1.1.3 大数据的应用场景 1.1.4 大数据的发展趋 ...
什么是大数据口子_大数据分析师年薪几十万，学什么专业才能从事大数据？
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...

大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077

大数据之-Hadoop3.x_Hadoop之HDFS_DataNode的工作机制_原理---大数据之hadoop3.x工作笔记0077相关推荐

最新文章

热门文章