二、分布式文件系统HDFS及其简单使用

2024-06-13 15:06:55

在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。

HDFS

HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口。

HDFS是根据谷歌的论文：《The Google File System》进行设计的

HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode。

Client

Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的Block，然后进行存储。Client 提供一些命令来管理和访问HDFS，比如启动或者关闭HDFS。

NameNode

NameNode就是 master，它是一个主管、管理者。管理 HDFS 元数据（文件路径，文件的大小，文件的名字，文件权限，文件的block切片信息）。

NameNode管理 Block 副本策略：默认 3 个副本，处理客户端读写请求。

二、分布式文件系统HDFS及其简单使用相关推荐

JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
第三章-分布式文件系统HDFS
第三章-分布式文件系统HDFS 文章目录第三章-分布式文件系统HDFS HDFS简介 HDFS相关概念 HDFS块与组件名称节点第二名称节点数据节点 HDFS体系结构 HDFS存储原理冗余数 ...
Hadoop分布式文件系统--HDFS结构分析
前言在Hadoop内部,详细实现了很多类的文件系统,当然最最被我们用到的就是他的分布式文件系统HDFS了. 可是本篇文章不会讲HDFS的主从架构等东西,由于这些东西网上和资料书中都讲得非常多了. 所 ...
分布式文件系统HDFS解析
分布式文件系统HDFS解析设计目标 Namenode 和 Datanode HDFS HA HDFS Federation 读写流程 Replication 元数据副本均衡元数据磁盘错误快照 ...
大数据学习（3）- 分布式文件系统HDFS
文章目录目录 1.分布式文件系统 1.1 计算机集群概念 1.2 分布式文件系统结构 2.HDFS简介 2.1 HDFS设计的目标 2.2HDFS的局限性 2.3 块的概念 2.4 HDFS主要组件 ...
Hadoop分布式文件系统HDFS的工作原理详述
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应 ...
Hadoop大数据原理(2) - 分布式文件系统HDFS
文章目录 1. 数据存储问题 2. RAID技术的原理和思路 2.1 常用RAID的原理介绍 2.2 RAID间的性能比较 3. 大数据时代的分布式文件系统 3.1 HDFS的稳固地位 3.2 HDF ...
大数据技术原理与应用（第三章分布式文件系统HDFS）
目录 3.1分布式文件系统HDFS简介计算机集群的基本架构分布式文件系统结构图 HDFS实现目标 HDFS自身局限性 3.2HDFS相关概念块的设计优势 HDFS两大组件--NameNode和D ...
大数据技术第三章-分布式文件系统HDFS
前言:马上期末考试了,瑟瑟发抖~ 总结了一些大数据技术原理和应用的知识点,如有错误,请求指正~ 大数据技术原理与应用期末复习前两章知识点 1.HDFS集群采用主从结构,节点主要包括名称节点和数据节点 ...

最新文章

热门文章