HDFS心跳机制--判断DN失联部分的源码解析

一、前言

今天朋友问我HDFS中，如果namenode 10分30秒没有收到dn心跳，则判断dn不可用，这个10分30秒是怎么来的。翻源码过程如下。版本：hadoop270

二、Datanode发送心跳

1. DataNode.java的main方法

2. createDataNode方法

3. instantiateDataNode方法

4. makeInstance方法

5. 实例化DataNode对象，在初始化一些配置之后，进入startDataNode方法，启动dn

6. 初始化块池管理器，向nn注册

7. 启动BPOfferService，每个bpos对应一个nn组（一主一备）

8. BPServiceActor（每个BPServiceActor对应一个nn）是一个线程，找到其run方法。循环向nn注册/心跳

9. offerService方法，拿到nn的代理，通过RPC请求向nn发送心跳

10. NameNodeRpcServer类的sendHeartbeat方法，一路追

刷新lastUpdateMonotonic这个值

三、NameNode处理心跳

1. NameNode的main方法

2. 实例化

3. 初始化

4. 启动一些（主备）共有服务

5. 启动一些线程

6. 监控心跳的线程

可以看到，每隔5min(heartbeatRecheckInterval)就进行一次心跳检查

7. 心跳检查时候判断dn是否dead，如果10min30S没有收到心跳，既判断为dead

node.getLastUpdateMonotonic是datanode调用NN RPC服务时更新的。上文已表述

HDFS心跳机制--判断DN失联部分的源码解析相关推荐

Handler消息机制（九）：IntentService源码解析
作者:jtsky 链接:https://www.jianshu.com/p/0a150ec09a32 简介首先我们先来了解HandlerThread和IntentService是什么,以及为什么要将 ...
jtoken判断是否包含键_Redis源码解析十三--有序集合类型键实现(t_zset)
有序集合类型键实现 1. 有序集合命令 Redis有序集合命令如下表所示:Redis 有序集合命令详解 2. 有序集合类型实现有序集合对象的底层实现类型如下表: 关于底层的数据结构剖析和实现,请看如 ...
Handler消息机制（十）：HandlerThread源码解析
作为Android开发者都知道在子线程中使用Handler必须要创建Looper,其实HandlerThread就是在线程中封装了Looper的创建和循环,不用我们开发者自己去创建它,下面我们来看看源 ...
Redis源码解析(15) 哨兵机制[2] 信息同步与TILT模式
Redis源码解析(1) 动态字符串与链表 Redis源码解析(2) 字典与迭代器 Redis源码解析(3) 跳跃表 Redis源码解析(4) 整数集合 Redis源码解析(5) 压缩列表 Redis ...
【Android 异步操作】线程池 ( 线程池作用 | 线程池种类 | 线程池工作机制 | 线程池任务调度源码解析 )
文章目录一.线程池作用二.线程池种类三.线程池工作机制四.线程池任务调度源码解析一.线程池作用线程池作用 : ① 避免创建线程 : 避免每次使用线程时 , 都需要创建线程对象 ; ② 统 ...
[源码解析] 从TimeoutException看Flink的心跳机制
[源码解析] 从TimeoutException看Flink的心跳机制文章目录 [源码解析] 从TimeoutException看Flink的心跳机制 0x00 摘要 0x01 缘由 0x02 背景 ...
HDFS源码解析：教你用HDFS客户端写数据
摘要:终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端. 本文分享自华为云社区<hdfs源码解析之客户端写数据>,作者: dayu_dls. 在我们客户端写数据 ...
【kafka】Kafka 源码解析：Group 协调管理机制
1.概述转载:Kafka 源码解析:Group 协调管理机制在 Kafka 的设计中,消费者一般都有一个 group 的概念(当然,也存在不属于任何 group 的消费者),将多个消费者组织成一个 ...
MapReduce的分片机制源码解析
目录一.分⽚的概念二.分片大小的选择三.源码解析 1)FileSplit源码解析 2)FileInputFormat源码解析 3)TextInputFormat源码解析 4) LineRecor ...

HDFS心跳机制--判断DN失联部分的源码解析

HDFS心跳机制--判断DN失联部分的源码解析相关推荐

最新文章

热门文章