【HDFS】常用API

用java代码实现Linux下的命令

通过FileSystem对象操作，实现setup()和test()函数

@Before
public void setup() throws URISyntaxException, IOException, InterruptedException {fs=FileSystem.get(new URI("hdfs://192.168.234.132:8020"),new Configuration(),"hr");
}

常用方法：

1.按照指定路径创建文件(可以级联)：create(Path f)

2.按照指定路径创建文件夹(可以级联)：mkdirs(Path f)

3.删除指定文件或文件夹

delete(Path path,boolean recursive) recursive指定是否递归删除，删除非空文件夹时必须指定为true。

4.上传文件到HDFS：

copyFromLocalFile(Path src,Path dst)

copyFromLocalFile(boolean delSrc,Path src,Path dst) delSrc指定上传完成后是否删除源文件

copyFromLocalFile(boolean delSrc,boolean overwrite,Path src,Path dst) overwrite指定若文件已存在是否覆盖

copyFromLocalFile(boolean delSrc,boolean overwrite,Path[] srcs,Path dst) 一次上传多个文件

注意这个local，如果是在windows上测试，local指的就是windows本地

moveFromLocalFile(Path src,Path dst) 上传文件到HDFS系统，并且完成之后自动删除源文件

moveFromLocalFile(Path[] srcs,Path dst)

5.从HDFS上下载文件：

copyToLocalFile(Path src,Path dst)

copyToLocalFile(boolean delSrc,Path src,Path dst)

moveToLocalFile(Path src,Path dst) 从HDFS上下载文件，并且完成之后自动删除源文件

6.判断是否是文件夹：isDirectory(Path f)

7.判断是否是文件：isFile(Path f)

8.列出文件(相当于Linux下的ls，但不显示文件夹)：

listFiles(Path f,boolean recursive) 返回的是LocatedFileStatus的迭代器

RemoteIterator<LocatedFileStatus> lfs=fs.listFiles(new Path("/kinggsoft"),true);
while(lfs.hasNext())
{System.out.println(lfs.next().getPath());
}

9.以流的方式读取文件：

open(Path f) 返回FSDataInputStream

public void test() throws IOException {FSDataInputStream fsis=fs.open(new Path("/mobile2"));byte[] temp=new byte[128];int len=-1;while((len=fsis.read(temp))!=-1){System.out.println(new String(temp,0,len));}
}

10.向文件中追加内容：

append(Path f) 返回FSDataOutputStream

public void appendToFile() throws IOException {FSDataOutputStream fsos=fs.append(new Path("/mobile2"));fsos.write("hahaha".getBytes());fsos.close();
}

不过出现了一个异常弄一晚上也没解决改天再说吧。

【HDFS】常用API相关推荐

HDFS常用的Api
HDFS常用的Api: package com.jxd.hdfs;import org.apache.hadoop.conf.Configuration; import org.apache.hado ...
Hadoop基础（三） --- oiv、oev、通过URL访问hdfs以及FileSyatem-- Hadoop的文件系统的常用API
[oiv]offline image viwer -------------------------------------------------------------- 1.用于查看Had ...
HDFS Shell API（常用）
HDFS常用命令 1.查看帮助文档 [root@master Desktop]# hadoop fs 2.查看所有目录及其文件 #查看hdfs根目录下所有文件 [root@master ~]# had ...
HDFS常用命令和客户端API操作
注意 1)记得快照,快照,快照一下 ECS服务器怎么快照? ECS服务器搭建hadoop伪分布式_CBeann的博客-CSDN博客_宝塔部署hadoop 2)参考资料(视频)的问题上面网盘的视频, ...
HDFS常用端口及参数释义
hdfs 常用端口和 hdfs-default配置文件参数的意义: https://www.cnblogs.com/duanxz/p/3799467.html Hadoop 2.x常用端口及查看方法: ...
分布式文件系统—HDFS—Java API操作
原文作者:jiangw-Tony 原文地址:HDFS基础使用 hdfs 在生产应用中主要是客户端的开发,其核心步骤是从 hdfs 提供的 api 中构造一个 HDFS的访问客户端对象,然后通过该客户端 ...
java向hdfs提交命令_Java语言操作HDFS常用命令测试代码
本文主要向大家介绍了Java语言操作HDFS常用命令测试代码,通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. package com.yxc.hdfs; import org.apac ...
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
大数据技术之_17_Storm学习一 Storm 概述 1.1 离线计算是什么? 1.2 流式计算是什么? 1.3 Storm 是什么? 1.4 Storm 与 Hadoop 的区别 1.5 Sto ...
2021年大数据Hadoop（十二）：HDFS的API操作
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的API操作 ...
c++ string replace_JAVA应用程序开发之String类常用API
[本文详细介绍了JAVA应用开发中的String类常用API,欢迎读者朋友们阅读.转发和收藏!] 1 基本概念 API ( Application Interface 应用程序接口)是类中提供的接口, ...

【HDFS】常用API

常用方法：

不过出现了一个异常弄一晚上也没解决改天再说吧。

【HDFS】常用API相关推荐

最新文章

热门文章

【HDFS】常用API

常用方法：

不过出现了一个异常 弄一晚上也没解决 改天再说吧。

【HDFS】常用API相关推荐

最新文章

热门文章

不过出现了一个异常弄一晚上也没解决改天再说吧。