交朋友增体面，不如交朋友益身心
教子弟求显荣，不如教子弟立品行

HDFS快速入门

Hadoop分布式文件系统（HDFS）快速入门

HDFS知识梳理详细版

Hadoop分布式文件系统（HDFS）知识梳理（超详细）

HDFS文件系统详细介绍

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现
Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中一个文件系统的客户端接口，并且该抽象类有几个具体实现，其中和Hadoop紧密相关的见下表

文件系统	URI方案	Java实现（都在org.apache.hadoop包中）	描述
Local	file	fs.LocalFileSystem	使用客户端校验和的本地磁盘文件系统使用RawLocalFileSystem表示无校验和的本地磁盘文件系统
HDFS	hdfs	hdfs.DistributedFileSystem	Hadoop的分布式文件系统将HDFS设计成与MapReduce结合使用，可以实现高性能
WebHDFS	Webhdfs	Hdfs.web.WebHdfsFileSystem	基于HTTP的文件系统，提供对HDFS的认证读/写访问
Secure WebHDFS	swebhdfs	hdfs.web.SWebHdfsFileSystem	WebHDFS的HTTPS版本
HAR	har	fs.HarFileSystem	一个构件在其他文件系统之上用于文件存档的文件系统 Hadoop存档文件系统通常用于将HDFS中的多个文件打包成一个存档文件，以减少NameNode内存的使用使用Hadoop的`achive`命令来创建HAR文件
View	viewfs	viewfs.ViewFileSystem	针对其他Hadoop文件系统的客户端挂载表通常用于为联邦NameNode创建挂载点
FTP	ftp	fs.ftp.FTPFileSystem	由FTP服务器支持的文件系统
S3	S3a	fs.s3a.S3AFileSystem	由Amazon S3支持的文件系统，代替老版本的s3n（S3 原生）实现
Azure	wasb	fs.azure.NativeAzureFileSystem	由Microsoft Azure支持的文件系统
Swift	swift	fs.swift.snative.SwiftNativeFileSystem	由OpenStack Swift支持的文件系统

Hadoop对文件系统提供了许多接口，它一般使用URI方案来选取合适的文件系统实例进行交互
命令hadoop fs -ls file:可以列出本地文件系统根目录下的文件

接口

Hadoop是用Java写的，通过Java API可以调用大部分Hadoop文件系统的交互操作，比如文件系统的命令解释器就是一个Java命令，它是用Java的FileSystem类来提供文件系统操作
下面是一些文件系统接口介绍，这些接口通常与HDFS一同使用，因为Hadoop中的其它文件系统一般有访问基本文件系统的工具，但它们大多数都能用于任何Hadoop文件系统

HTTP

由WebHDFS协议提供的HTTPP REST API使得其他语言开发的应用能够很方便地与HDFS交互
HTTP接口比原生的Java客户端要慢，尽量不要使用它来传输特大数据
通过HTTP访问HDFS有两种方法，两者都使用了WebHDFS协议
- 直接访问
  HDFS守护进程直接服务于来自客户端的HTTP请求
- 通过代理（一个或多个）访问
  客户端通常使用DistributedFileSystem API访问HDFS

C语言

Hadoop提供一个名为libhdfs的C语言库，该语言库是Java FileSystem接口类的一个镜像（它被写成访问HDFS的C语言库，但其实它可以访问任何一个Hadoop文件系统）
使用Java原生接口（JNI）调用Java文件系统客户端
还有一个libwebhdfs库，该库使用了WebHDFS接口
其开发滞后于Java API，一些新特性不支持

NFS

使用Hadoop的NFSv3网关将HDFS挂载为本地客户端的文件系统是可行的
可以使用Unix实用程序（如ls和cat）与该文件系统交互，上传文件，通过任意一种编程语言调用POSIX库来访问文件系统
关于如何配置和运行NFS网关，以及如何从客户端连接网关，可以参考Hadoop官网相关文档资料

FUSE

用户空间文件系统（Filesystem in Userspace）允许将用户空间实现的文件系统作为Unix文件系统进行集成
通过使用Hadoop的Fuse-DFS功能模块，HDFS（或任何一个Hadoop）文件系统均可以作为一个标准的本地文件系统进行挂载
Fuse-DFSS是用C语言实现的，使用libhdfs作为访问HDFS的接口
在写操作时，Hadoop NFS网关对于挂载HDFS来说是更健壮的解决方案，相比Fuse-DFS而言应优先选择

Hadoop分布式文件系统（HDFS）之文件系统（详细版）相关推荐

Hadoop分布式文件系统命令行接口（HDFS Shell）详细版
处事有何定凭?但求此心过得去立业无论大小,总要此身做得来 HDFS快速入门 Hadoop分布式文件系统(HDFS)快速入门 HDFS知识梳理详细版 Hadoop分布式文件系统(HDFS)知识梳理(超 ...
Hadoop分布式集群搭建完全详细教程
Hadoop分布式集群环境搭建步骤如下实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态虚拟机:VMware 12 Linux:Centos 7 jdk1. ...
hadoop集群搭建（超详细版）
1.准备好需要安装的软件虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统安装好虚拟机,图形界面如下 ...
【hadoop期末复习】第三章分布式文件系统HDFS 超详细讲解（更新完毕）
** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分: [简单]学习通习题 [进阶]课本课后练习 [操作]相关章节实验回顾 ** 使用教材:大数据技术原理与应用(第3版)林子雨编著 ** ...
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
Hadoop技术(一)分布式文件系统HDFS
分布式文件系统HDFS 第一章统一思维单机大数据处理实现以及问题问题引入现在收集到的想法问题升级第二章 Hadoop 一 Hadoop简介 HDFS优点 HDFS缺点二 Hadoop分布 ...
Hadoop之HDFS：Hadoop分布式文件系统--具体知识点
HDFS:Hadoop分布式文件系统下面是HDFS的具体知识点,个人学习笔记戳这文章目录 HDFS:Hadoop分布式文件系统一.学习准备二.课堂主题三.课堂目标四.知识要点 1. had ...
Hadoop分布式文件系统--HDFS结构分析
前言在Hadoop内部,详细实现了很多类的文件系统,当然最最被我们用到的就是他的分布式文件系统HDFS了. 可是本篇文章不会讲HDFS的主从架构等东西,由于这些东西网上和资料书中都讲得非常多了. 所 ...
深入理解HDFS：Hadoop分布式文件系统
深入理解HDFS:Hadoop分布式文件系统文本详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助. 1. 介绍在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器 ...

Hadoop分布式文件系统（HDFS）之文件系统（详细版）

推荐书目电子版下载

HDFS快速入门

HDFS知识梳理详细版

HDFS文件系统详细介绍

接口

Hadoop分布式文件系统（HDFS）之文件系统（详细版）相关推荐

最新文章

热门文章