HDFS 分布式文件系统的搭建与使用

HDFS(Hadoop Distributed File System) 是 Hadoop 的一个重要的模块，它像磁盘阵列一样能够在分布式环境中构建一个文件系统。由于数据块从多个节上存取，也就能突破单点的网络带宽和硬件资源的限制而获得更好的性能; 能处理更大的数据，和克服单点故障的问题。许多公司正在使用 HDFS 构建自己的分布式文件系统，还比支持它的应用有 Spark, Presto, Hive, HBase, Zeppelin 等。

本文将实战自己搭建一个 HDFS 分布式文件系统，体验最基本的 HDFS 文件操作，看看它是如何分布文件块，以及如何进行冗余容错的。

本次实战环境:

macOS Big Sur 11.7, VirtualBox 6.1.32 r149290, Vagrant 2.2.19
Vagrant Ubuntu 22.04 LTS 虚拟机
Open JDK 8
Hadoop 3.3.4

我们将使用 4 个 Vagrant 虚拟机，其中一个为 NameNode, 其余为 DataNode。HDFS 沿袭了传统的 Master/Slave 系统架构，但因目前像传统的计算机名词 PC, CRT 被恶意使用的当下，Master/Slave 相应的更名为 NameNode 和 DataNode。在通常的系统中, Master 兼具协调与数据存储的功能，而 Slave 只存储数据，而 HDFS 的 NameNode 仅保管文件的元信息，数据块存储在 DataNode 中。

阅读全文 >>

HDFS 分布式文件系统的搭建与使用相关推荐

HDFS分布式文件系统架构
文章目录 HDFS分布式文件系统架构 1.HDFS概论与基础框架结构 HDFS基础介绍 HDFS设计架构 HDFS设计结构-NameNode HDFS设计结构-DataNode HDFS设计结构-Cl ...
大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统
文章目录前言 1.HDFS特点 2.命令行和API操作HDFS (1)Shell命令行客户端 (2)API客户端连接HDFS的两种方式 (3)API客户端上传下载文件 (4)API客户端文件详情及文 ...
hadoop历史背景hdfs分布式文件系统hadoop的集群模式单机模式伪分布
hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布 1.hadoop的历史背景 lucense ---->nutch----& ...
2021年大数据Hadoop（七）：HDFS分布式文件系统简介
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS分布式文件系统 ...
Hadoop HDFS分布式文件系统常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
MFS分布式文件系统的搭建
MFS分布式文件系统的搭建一:介绍MFS MFS(MooseFS)是一个具有容错性的网络分布式文件系统.它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源. MFS也像其他类的 ...
HDFS:分布式文件系统(1)
HDFS:分布式文件系统目录 HDFS:分布式文件系统 1.计算机集群结构 2.HDFS优缺点 3.块Block 4.名称节点和数据结点(nameNode[NN]&DateNode[DN]) ...
0.HDFS分布式文件系统
HDFS分布式文件系统 1. Hadoop是什么(20分钟) 1.1 Hadoop架构 HDFS (Hadoop Distributed File System)文件系统:存文件读文件的一个系统 Ha ...
HDFS分布式文件系统具有哪些优点？
随着互联网数据规模的不断增大,对文件存储系统提出了更高的要求,需要更大的容量.更好的性能以及更高安全性的文件存储系统,与传统分布式文件系统一样,HDFS分布式文件系统也是通过计算机网络与节点相连,但也 ...

HDFS 分布式文件系统的搭建与使用

HDFS 分布式文件系统的搭建与使用相关推荐

最新文章

热门文章