写数据

可以点击查看大图

客户端上传文件会被分为128M一块上传

首先客户端像namenode请求上传，namenode响应可以上传。然后客户端像namenode发起rpc请求上传第一个block（0-128M），请返回datanode，

客户端拿到namenode地址比如3个副本会有3台分别为 dn1 dn2 dn3

客户端向dn1建立channel， dn1 向dn2建立通道在nio的bytebuf ，dn2向dn3建立通道在nio的bytebuf

dn3响应dn2 ，dn2 响应dn1 ，dn1响应给客户端，

客户端通过nio传送数据到 dn1同时 dn1也传给dn2 ，dn2也传给dn3

只要dn1上传成功就成功后面namenode会去维护，如果dn1也失败就返回失败重传。

客户端传送给 dn1 单位为package 64k

以chunk为校验单位 521byte

读数据

找namenode请求下载

客户端向hdfs读写数据流程相关推荐

Hadoop之HDFS读写数据流程
Hadoop之HDFS读写数据流程目录 HDFS写数据流程 HDFS读数据流程网络拓扑概念机架感知 1. HDFS写数据流程 HDFS写数据流程,如下图客户端通过Distributed Fil ...
HDFS读写数据流程
1. HDFS读数据流程 1.与NameNode通信查询元数据,找到文件块所在的DataNode服务器 2.挑选一台DataNode(网络拓扑上的就近原则,如果都一样,则随机挑选一台DataNode) ...
HDFS读写数据的原理
目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试,就把之前学过的东西好好整理下,权当是复习. 下面说下HDFS读写数据的原理. 1 概述 HDFS集群分为两大角 ...
hadoop--HDFS的读写数据流程
目录 HDFS中block.packet.chunk的概念 1. 数据块block 2. packet 3. chunk HDFS读数据流程 HDFS写数据流程 HDFS中block.packet.c ...
HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）
4.hdfs的工作机制 (工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 注:很多不是真正理解hadoop技术体系的人会常常觉得HDF ...
服务端设置忽略更新_深入理解Kafka服务端之日志对象的读写数据流程
一.场景分析在前面几篇分析过,Log类用于管理服务端日志相关的各种操作,如: 日志段管理:滚动生成新日志段.组织并管理分区下的所有日志段等关键偏移量管理:如LogStartOffset.LEO等 ...
hbase读写数据流程
1.hbase写数据速度极高,吞吐量极大,主要归因于写入数据是先写入memstore内存的操作(当然这里还有wal顺序写日志防止机器崩溃),只有等到内存满了.才会批量顺序flush数据到磁盘,这样就避 ...
hdfs写数据流程分析
图解Hadoop hdfs写数据流程
hdfs读写流程_必须掌握的分布式文件存储系统—HDFS
必须掌握的分布式文件存储系统-HDFSmp.weixin.qq.com HDFS(Hadoop Distributed File System)分布式文件存储系统,主要为各类分布式计算框架如Spar ...

客户端向hdfs读写数据流程

写数据

可以点击查看大图

客户端向hdfs读写数据流程相关推荐

最新文章

热门文章