Hadoop入门（三）HDFS API

一、、HDFS 常用类

Configuration 配置

Path 路径

FileSystem 文件系统

Stream 流

IOUtils IO工具

API文档

二、类解析

（1）Configuration

配置文件加载顺序

设置/获取参数方法

（2）Path

Path 常用方法

（3）FileSystem

创建文件

打开文件

文件追加

从本地拷贝文件到HDFS

从HDFS拷贝文件到本地

创建目录

删除及重命名

获取文件或目录信息

设置文件或目录属性

（4）Stream

HDFS输入流

HDFS输出流

（5）IOUtils

IOUtils 构造方法

IOUtils 拷贝流方法

三、HDFS 依赖的jar包及Java Doc位置

四、例子

（1）创建HDFS文件(createNewFile)

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path = new Path(fileName);
boolean isCreated = hdfs.createNewFile(path);

（2）从本地拷贝文件到HDFS(copyFromLocalFile)

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path srcPath = new Path(srcFile);
Path dstPath = new Path(dstFile);
hdfs.copyFromLocalFile(srcPath,dstPath）

（3）从HDFS读取文件(open)

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path = new Path(dstFile);
FSDataInputStream inputStream = hdfs.open(path);
Text line = new Text()
LineReader liReader  = new LineReader(inputStream);while (liReader.readLine(line) > 0) {
System.out.println(line);
}
inputStream.close();

（4）追加方式写入HDFS文件(append)

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path= new Path(dstFile);
FSDataOutputStream out = hdfs.append(path);
//在文件尾部，追加数据
out.close();

（5）列出目录下的所有文件(listStatus)

Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path dir = new Path(dirName);
FileStatus[] fileStatus = hdfs.listStatus(new Path[]{dir});

Hadoop入门（三）HDFS API相关推荐

Hadoop教程(三)HDFS文件系统Shell命令
Hadoop教程(三)HDFS文件系统Shell命令本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381 Hadoop教程(三)HD ...
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）
Hadoop入门(二)--VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置(图文详解步骤2021) 之前在上一篇文章中讲述了 CentOS7下载+VM上安装(手动 ...
Hadoop入门(四)——模板虚拟机环境准备（图文详解步骤2021）
Hadoop入门(四)--模板虚拟机环境准备(图文详解步骤2021) 系列文章传送门这个系列文章传送门: Hadoop入门(一)--CentOS7下载+VM上安装(手动分区)图文步骤详解(2021) ...
Hadoop框架：HDFS读写机制与API详解
本文源码:GitHub·点这里 || GitEE·点这里一.读写机制 1.数据写入客户端访问NameNode请求上传文件: NameNode检查目标文件和目录是否已经存在: NameNode响应客 ...
大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）
系列博客 1.大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机 2.大数据技术之Hadoop编译源码 3.大数据技术之Hadoop分布式文件系统HDFS系统知识整理(从入门 ...
华为云大数据存储的冗余方式是三副本_大数据入门：HDFS数据副本存放策略
大数据处理当中,数据储存始终是一个重要的环节,从现阶段的市场现状来说,以Hadoop为首的大数据技术框架,仍然占据主流地位,而Hadoop的HDFS,在数据存储方面,仍然得到重用.今天的大数据入门分享 ...
大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍文章目录大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...
大数据时代|核心架构Hadoop入门学习之HDFS，循序渐进求真知
前言当今世界,科学技术飞速发展,人们不知不觉的进入了大数据时代.而什么是大数据时代,大数据的发展是什么?这一系列的问题其实很抽象,很难一言半语的概括.但是,在这大数据时代,必须掌握相应的技术作为支撑 ...
hadoop: hdfs API示例
利用hdfs的api,可以实现向hdfs的文件.目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图: 为了方便操作,将常用的文件读写操作封装了一个工具类: 1 import org.apa ...
JAVA操作HDFS API(hadoop)
http://www.cnblogs.com/alisande/archive/2012/06/06/2537903.html HDFS API详解 Hadoop中关于文件操作类基本上全部是在&quo ...