hadoop获取文件系统接口

hadoop提供了许多文件系统的接口，用户可以使用url方案选取合适的文件系统来实现交互。

1.local

fs.LocalFileSystem
客户端校验和本地文件系统

2.hdfs

 hdfs.DistributionFileSystem    hadoop分布式文件系统

3.hftp

hdfs.hftpFileSystem
支持http通过只读的方式访问hdfs，distcp经常用到不同的hdfs集群间复制数据

4.hsftp

hdfs.HsftpFileSystem
支持https通过只读的方式访问hdfs

5.har

fs.HarFileSystem
构建hadoop文件系统之上，对文件进行归档，hadoop归档文件主要用来减少namenode的内存使用

6.kfs

fs.kfs.KosmosFileSystem
Cloudstore文件系统类似于hdfs和Google的gfs文件系统，使用c++编写

7.ftp

fs.ftp.FtpFileSystem
由ftp服务器支持的文件系统

8.S3本地

 fs.s3native.NativeS3FileSystem  基于amazon的文件系统

9.S3基于块

fs.s3NativeS3FileSystem
基于amazon的文件系统，解决了5gb大小的限制

hadoop获取文件系统接口相关推荐

《Hadoop权威指南》第三章 Hadoop分布式文件系统
<Hadoop权威指南>第三章 Hadoop分布式文件系统目录前言 HDFS的设计 HDFS的概念命令行接口 Hadoop文件系统 Java接口数据流通过distcp并行复制注 ...
Hadoop分布式文件系统：架构和设计要点
一.前提和设计目标 1.硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速.自动的恢复是HDFS的核心架构目标. 2.跑在HDF ...
hdfs读写流程_深度探索Hadoop分布式文件系统（HDFS）数据读取流程
一.开篇 Hadoop分布式文件系统(HDFS)是Hadoop大数据生态最底层的数据存储设施.因其具备了海量数据分布式存储能力,针对不同批处理业务的大吞吐数据计算承载力,使其综合复杂度要远远高于其他数 ...
深入理解HDFS：Hadoop分布式文件系统
深入理解HDFS:Hadoop分布式文件系统文本详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助. 1. 介绍在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器 ...
第3章:Hadoop分布式文件系统(1)
当数据量增大到超出了单个物理计算机存储容量时,有必要把它分开存储在多个不同的计算机中.那些管理存储在多个网络互连的计算机中的文件系统被称为"分布式文件系统".由于这些计算机是基于网 ...
Hadoop集群搭 Hadoop分布式文件系统架构和设计
Hadoop集群搭建先决条件确保在你集群中的每个节点上都安装了所有必需软件. 获取Hadoop软件包. 安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上. 通常,集群里的一台机器 ...
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
Ceph作为Hadoop分布式文件系统的可扩展替代方案
新钛云服已为您服务1020天文档说明 HDFS的缩放限制.我们描述Ceph及其元素,并提供安装可与Hadoop一起使用的演示系统的说明. Hadoop已经成为一个非常流行的大规模数据分析平台.这种流 ...
HDFS 全称 Hadoop 分布式文件系统，其最主要的作用是作为 Hadoop 生态中各系统的存储服务。
HDFS HDFS 全称 Hadoop 分布式文件系统,其最主要的作用是作为 Hadoop 生态中各系统的存储服务. 面对大规模的数据,HDFS 在设计上满足了以下目标: 高度容错性: HDFS 可能 ...

hadoop获取文件系统接口

1.local

2.hdfs

3.hftp

4.hsftp

5.har

6.kfs

7.ftp

8.S3本地

9.S3基于块

hadoop获取文件系统接口相关推荐

最新文章

热门文章