大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

然后我们再来看下,这个客户端去从hadoop的hdfs上面读取数据的一个过程.

1.首先我们先看一下hadoop是怎么来存数据的.

2.首先对于namenode节点来说,我们说他存了元数据,比如他这里存了一个/usr/atguigu/ss.avi这个文件,注意他仅仅是存了一个元数据,比如名字,路径.

然后namenode还存了,比如我这个文件有两个block块,比如是blk_1,和blk_2,这两个块.然后为了安全起见,这个namenode也会把这两个块信息,存3个副本放起来.

3.然后namenode上面记录的这个文件的blk_1这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

4.然后同样namenode上面记录的这个文件的blk_2这个块,可以看到记录了他存在了datanode1上面一份具体的块的数据,在datanode2上面存了一份具体的块的数据,在datanode3上面存了一份具体的块的数据

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069相关推荐

greenplum配置高可用_高可用hadoop集群配置就收藏这一篇，动手搭建Hadoop（5）
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式完成了前面四步,现在做hadoop的高可用.其实和之前的lvs的高可用差不多的.如果我们有两个nam ...
controller接收json数据_这篇SpringBoot整合JSON的学习笔记，建议收藏起来，写的太细了
前言 JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式,目前使用特别广泛. 采用完全独立于编程语言的文本格式来存储和表示数据. 简洁和清晰 ...
大数据之-Hadoop之HDFS的API操作_文件下载案例---大数据之hadoop工作笔记0058
我们再来看一下文件下载. 这个代码就可以下载文件了使用的是copyToLocalFile的api 执行以后可以看到文件下载下来了但是多了个.banhua.txt.crc文件.
大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 流处理和批处理想必,就是低延时和吞吐量高,用就用的他这个特点. 如果,数据量特别大,可能一个批处理 ...
大数据之_亿级分布式日志管理ELK_工作笔记001_ELK认识介绍
技术交流QQ群[JAVA,.NET,BigData,AI]:170933152 这个需要搭建集群,用自己的电脑的话,需要至少模拟3台Centos虚拟机,很费内存 ELK介绍需求背景: 业务发展越来越 ...
大数据_Flink_Java版_数据处理_窗口起始点和偏移量---Flink工作笔记0058
上一节我们用数据测试,得到的结果是,[195,210)这是一个窗口,对吧, 很奇怪,为什么? 因为这里我们输入的第一个数据的时间戳是,199对吧,那么为什么不是 [199,214),为什么不是这样呢? ...
大数据_MapperReduce_Hbase配置参数说明_以及部分源码说明---Hbase工作笔记0031
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们接着去看,这里我们主要看一些参数,以及对一些参数的源码说明首先我们看这个他的master ...
大数据_MapperReduce_将Hbase的结果统计分析后保存到mysql中_自己动手写mapper和reducer---Hbase工作笔记0023
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 将hbase的结果统计分析后,保存到mysql中去. 我们先准备一个工程然后这里我们写一个HBa ...
大数据_Flink_Java版_ProcessFunction(4)_应用案例_高低温分流---Flink工作笔记0069
我们使用侧输出流再来做一下那个高低温分流.这次我们使用 ProcessFunction来实现. 可以看到之前我们用split算子把一个流分成了多个流,然后这次我们利用ProcessFunction, ...

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069

大数据之-Hadoop之HDFS_读数据流程_原理篇---大数据之hadoop工作笔记0069相关推荐

最新文章

热门文章