Hadoop_10_HDFS 的 DataNode工作机制

1.DataNode的工作机制:

　　1、DataNode工作职责：存储管理用户的文件块数据

　　　　　　　　　　　　 定期向namenode汇报自身所持有的block信息（通过心跳信息上报）

　　（这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题）

　　 2.配置文件:

<property><name>dfs.blockreport.intervalMsec</name><value>3600000</value><description>Determines block reporting interval in milliseconds.</description>
</property>

2.DataNode掉线判定时限:

　　datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为

死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间

为timeout，则超时时长的计算公式为：

　　timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval　

　　而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒

　　需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.

interval的单位为秒

　　举例，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认）

，则总的超时时间为40秒

<property><name>heartbeat.recheck.interval</name><value>2000</value>
</property>
<property><name>dfs.heartbeat.interval</name><value>1</value>
</property>

3.总结：

　　datanode不是一下线就会被namenode认定为下线的，有一个超时时间

转载于:https://www.cnblogs.com/yaboya/p/9195845.html

Hadoop_10_HDFS 的 DataNode工作机制相关推荐

Hadoop之DataNode工作机制
Hadoop之DataNode工作机制目录 DataNode工作机制数据完整性掉线时限参数设置 1. DataNode工作机制 DataNode工作机制如下图一个数据块在DataNode上以文 ...
Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
目录前言: 1.NameNode的工作机制 2.DataNode的工作机制 3.Secondary Namenode的Check point机制目录前言: 在说明checkpoint机制之前,先 ...
namenode和datanode工作机制_HDFS详解一：namenode、datanode工作原理
1. 概述HDFS集群分为两大角色:NameNode.DataNode(Secondary NameNode) NameNode负责管理整个文件系统的元数据,记录存放在哪些datanode中,以及存放 ...
namenode和datanode工作机制_Hadoop的namenode的管理机制，工作机制和datanode的工作原理...
HDFS前言: 1) 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...
Hadoop框架：DataNode工作机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.工作机制 1.基础描述 DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数据块元数据包括长度.校验.时 ...
namenode和datanode工作机制_NameNode与DataNode的工作原理剖析
NameNode与DataNode的工作原理剖析作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS写数据流程 1>.客户端通过Distributed FileSys ...
namenode和datanode工作机制_HDFS的namenode和datanode详解
一.概述 HDFS集群以Master-Slave模式运行,主要有两类节点:一个Namenode(即Master)和多个Datanode(即Slave). HDFS Architecture: 二.Na ...
HDFS（下）：NameNode和SecondaryNameNode、HDFS工作机制、故障处理、集群安全模式、服役退役节点、集群黑白名单、DataNode多目录详解、HDFS2.x新特性
接上篇,上篇文章传送门:HDFS(上):HDFS优缺点.HDFS操作.HDFS客户端操作.HDFS的API.HDFS数据流.HDFS的IO流.HDFS读写数据流程.HDFS文件处理详解.windows ...
hadoop--HDFS_DataNode工作机制
目录 DataNode工作机制数据完整性 DataNode掉线时限参数设置 DataNode工作机制 DataNode工作机制: 1.一个数据块再DataNode上以文件形式存储在磁盘上,包括两个文 ...

Hadoop_10_HDFS 的 DataNode工作机制

Hadoop_10_HDFS 的 DataNode工作机制相关推荐

最新文章

热门文章