写在前面

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

解答

心跳机制

主节点和数据节点之间的通信协议如下：

每隔3s，数据节点都会发送心跳(heartbeat)信息给 NameNode节点，所以 NameNode水远都会实时知道哪些数据节点是在线的;
每隔1h，数据节点会发送完整的数据块报告给 NameNode，所以NameNode会知道系统上各个文件和相关数据块的准确位置。

工作原理

master启动的时候，会运行 ipc server。
slave启动，连接 master，每隔3秒钟向 master发送心跳，携带状态信息;
master通过这个心跳的返回值，向 slave节点传达指令

作用

NameNode全权管理数据块的复制，它周期性地从集群中的每个 DataNode接收心跳信号和块状态报告（BlockReport）。
接收到心跳信号意味着该 DataNode节点工作正常。
块状态报告包含了一个该 DataNode上所有数据块的列表。
Data Node启动后向 NameNode注册，通过后，周期性(1小时)的向 NameNode上报所有的块的列表。
每3秒向 NamNode发一次心跳，返回 NameNode 给该 DataNode的命令，如复制块数据到另一台机器，或删除某个数据块。
如果 NameNode超过10分钟没有收到某个 DataNode的心跳，则认为该节点不可用。
hadoop集群刚开始启动时，会进入安全模式(99.9%)，就用到了心跳机制。

HDFS心跳机制是什么？相关推荐

HDFS心跳机制--判断DN失联部分的源码解析
一. 前言今天朋友问我HDFS中,如果namenode 10分30秒没有收到dn心跳,则判断dn不可用,这个10分30秒是怎么来的.翻源码过程如下.版本:hadoop270 二.Datanode发送 ...
9、HDFS核心设计--心跳机制、安全模式、副本存放策略、负载均衡
1.HADOOP 心跳机制(heartbeat) 1. Hadoop 是主从(Master/Slave )结构,Master 中包括 NameNode 和 ResourceManager,Slave ...
hadoop之MapReduce框架TaskTracker端心跳机制分析(源码分析第六篇)
1.概述 MapReduce框架中的master/slave心跳机制是整个集群运作的基础,是沟通TaskTracker和JobTracker的桥梁.TaskTracker周期性地调用心跳RPC函数,汇 ...
4.1 心跳机制和垃圾回收机制
任务目的了解心跳机制流程知晓 NameNode 感知 DataNode 掉线死亡的时长计算公式学会在配置文件中设置心跳机制掌握开启 HDFS 垃圾回收机制的方法任务清单任务1:Hadoop ...
聊聊分布式存储系统中的心跳机制以及主节点下发指令给从节点
心跳( heartbeat )是分布式系统中常用的技术.顾名思义,心跳就是以固定的频率向其他节点汇报当前节点状态的方式.收到心跳,一般可以认为发送心跳的这个节点在当前的网络中状态是良好的. 同时分布式 ...
DataNode 心跳机制源码解读
一.分布式系统中的心跳技术心跳是分布式技术中常用的技术手段.心跳,顾名思义,就是以固定的频率向其他节点汇报当前节点状态的方式.收到心跳,一般可以认为发送心跳的这个节点在当前的网络拓扑中是良好的. 当 ...
[心跳] 使用心跳机制实现CS架构下多客户端的在线状态实时更新以及掉线自动重连...
此文讲述的内容是一个实际项目开发中的一部分内容,笔者将亲身经历写成文章. [背景] 现需要实现这样的功能:有多个客户端连着同一个服务器.服务器和客户端之间需要"互相"知道彼此的连 ...
面试官问：服务的心跳机制与断线重连，Netty底层是怎么实现的？懵了
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 心跳机制何为心跳所谓心跳, 即在 TCP 长连接中, ...
Netty实现心跳机制与断线重连
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 来源:https://www.jianshu.com/p/ ...

HDFS心跳机制是什么？

写在前面

解答

心跳机制

工作原理

作用

HDFS心跳机制是什么？相关推荐

最新文章

热门文章