HDFS 读/写数据流程

1. HDFS 写数据流程

客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件， NameNode 检查目标文件是否已存在，父目录是否存在；
NameNode 返回是否可以上传；
客户端请求NameNode,获取第一个 Block 上传到哪几个 DataNode 服务器上；
NameNode 返回3个 DataNode 节点，分别为 dn1, dn2, dn3；
客户端通过 FSDataOutputStream 模块请求 dn1 上传数据， dn1 收到请求会继续调用 dn2，然后 dn2 调用 dn3，将这个通信管道建立完成；
dn1, dn2, dn3 逐级应答客户端；
客户端开始往 dn1 上传第一个 Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位， dn1 收到一个 Packet 就会传给 dn2， dn2 传给 dn3；dn1 每传一个 packet 会放入一个应答队列等待应答；
当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block 的服务器。（重复执行 3-7 步）。

1.1 网络拓扑--节点距离计算

在 HDFS 写数据的过程中， NameNode 会选择距离待上传数据最近距离的 DataNode 接收数据。
如何计算最近距离？
- 节点距离：两个节点到达最近的共同祖先的距离总和。

1.2 机架感知（副本存储节点选择）

2. HDFS 读数据流程

参考资料：

HDFS 文件IO流操作

转载于:https://www.cnblogs.com/linkworld/p/10940512.html

HDFS 读/写数据流程相关推荐

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）
4.hdfs的工作机制 (工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 注:很多不是真正理解hadoop技术体系的人会常常觉得HDF ...
Hadoop HDFS创建文件/写数据流程、源码详细解析
HDFS创建文件/写数据源码解析 HDFS HDFS写流程创建文件源码客户端 DistributedFileSystem DFSClient DFSOutputStream 客户端/Namenod ...
HDFS源码解析：教你用HDFS客户端写数据
摘要:终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端. 本文分享自华为云社区<hdfs源码解析之客户端写数据>,作者: dayu_dls. 在我们客户端写数据 ...
HBase读数据和写数据流程
Hbase架构图镇楼: HBase读数据的流程: HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表 ...
大数据之-Hadoop之HDFS的API操作_写数据流程_上传数据原理剖析_案例---大数据之hadoop工作笔记0066
hdfs的数据流,的写入过程,也就是,文件从本地上传到hdfs的过程,我们来看原理. 1.首先第一步我们的客户端去向,我们的完全分布式集群,像namenode节点,发起一个文件上传请求,并且把要上传的 ...
hdfs写数据流程分析
图解Hadoop hdfs写数据流程
Rocksdb 写数据流程
writeImpl 大致流程: 一般都要先做一些参数check 写wal 写memtable 更新seq 收尾流程结束并返回重要知识点: joinBatchGroup相关的status操作写wa ...
【大数据入门笔记系列】第三节 Hdfs读、写数据处理流程
[大数据入门笔记系列]第三节 Hdfs读.写数据处理流程 Hdfs简介写数据处理流程读数据处理流程后记跳转 Hdfs简介一般而言,Hdfs是由一个NameNode节点和若干个DataNode ...

HDFS 读/写数据流程

1. HDFS 写数据流程

1.1 网络拓扑--节点距离计算

1.2 机架感知（副本存储节点选择）

2. HDFS 读数据流程

HDFS 读/写数据流程相关推荐

最新文章

热门文章