3-39客户端（client）写数据到HDFS的流程

1）客户端向NN提出写数据请求
2）NN发现没有问题，同意客户端写数据
3）由于数据很大，需要分块：BLK1,BLK2三副本存在。此时客户端向NN提出写BLK1请求
4）NN决定将BLK1放在哪几个DN上，这个过程对用户来说是透明的，此时NN告知客户端
5）-10）Client与NN分配的要把BLK1放在哪几个DN（包括一个原数据，两个副本）建立连接，并最终告知Client建立连接成功
11）开始传输BLK1，并成功建立副本
12）BLK2的传输和BLK1一模一样

3-39客户端（client）写数据到HDFS的流程相关推荐

客户端读写数据到HDFS的流程
客户端写数据到HDFS中的流程 (1) 客户端发出写数据请求,hadoop fs –put ./localFile.txt /hdfsFile.txt 本地的localFile.txt文件大小是170 ...
Hadoop HDFS创建文件/写数据流程、源码详细解析
HDFS创建文件/写数据源码解析 HDFS HDFS写流程创建文件源码客户端 DistributedFileSystem DFSClient DFSOutputStream 客户端/Namenod ...
全方位揭秘！大数据从0到1的完美落地之HDFS读写流程
数据流读流程的详解读操作: hdfs dfs -get /file02 ./file02 hdfs dfs -copyToLocal /file02 ./file02 FSDataInputStr ...
Hadoop 2.0x：HDFS写入数据宏观和微观流程
目录 HDFS写数据流程宏观流程图解描述流程微观流程流程 HDFS写数据流程宏观流程图解描述写数据就是将客户端的数据上传到HDFS 流程 1. 客户端向HDFS发送写数据请求 hd ...
hdfs读写流程_一篇文章搞清楚 HDFS 基本原理
随着互联网的发展,数据日益增多,增长超过了单机能够处理的上线,数据如何存储和处理成为了科技公司的难题,随着google的三篇论文的发布,大家终于找到了一个方案-分布式文件系统+MapReduce.Ha ...
HDFS读写流程（重点，有些面试官总喜欢问到，记录一下）
写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端,由客户端向NN发送请求,请求上传文件 ③NN处理请求,检查客户端是否有权限上传,路径是否合法等 ④检查通过,N ...
HDFS源码解析：教你用HDFS客户端写数据
摘要:终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端. 本文分享自华为云社区<hdfs源码解析之客户端写数据>,作者: dayu_dls. 在我们客户端写数据 ...
HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）
4.hdfs的工作机制 (工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 注:很多不是真正理解hadoop技术体系的人会常常觉得HDF ...
HDFS 读/写数据流程
1. HDFS 写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件, NameNode 检查目标文件是否已存在,父目录是否存在: NameNo ...

3-39客户端（client）写数据到HDFS的流程

3-39客户端（client）写数据到HDFS的流程相关推荐

最新文章

热门文章