HDFS Java 客户端使用(Windows开发环境)

1.加入依赖

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.6.4</version>
</dependency>

2.文件上传到HDFS

/*** @TODO 上传文件到HDFS*/@Testpublic void testAddFileToHdfs() throws Exception{// 要上传的文件所在的本地路径Path src= new Path("F:\\staday-video.avi");// 要上传到hdfs的目标路径Path dst= new Path("/test_dir/");if(!fs.exists(dst))fs.mkdirs(dst);try {fs.copyFromLocalFile(src, dst);fs.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();} }

3.从HDFS中下载文件到本地

/*** @TODO 从HDFS中下载文件到本地*/@Testpublic void testDownloadFileToLocal() throws Exception{fs.copyToLocalFile(false,//是否删除原文件new Path("/test_dir/staday-video.avi"),//源路径new Path("e:/"),//目标路径true //目标路径是否本地文件系统);fs.close();}

4.创建目录、删除目录/文件、重命名目录/文件

@Testpublic void testMkdirAndDeleteAndRename() throws IllegalArgumentException, IOException {// 创建目录fs.mkdirs(new Path("/test_new/a1/b1"));// 删除文件夹 ，如果是非空文件夹，参数2必须给值truefs.delete(new Path("/aaa"), true);// 重命名文件或文件夹fs.rename(new Path("/test_new"), new Path("/test_n"));}

5.查看目录信息，只显示文件

/*** 查看目录信息，只显示文件* * @throws IOException* @throws IllegalArgumentException* @throws FileNotFoundException*/@Testpublic void testListFiles() throws FileNotFoundException, IllegalArgumentException, IOException {RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);while (listFiles.hasNext()) {LocatedFileStatus fileStatus = listFiles.next();System.out.println(fileStatus.getPath().getName());System.out.println(fileStatus.getBlockSize());System.out.println(fileStatus.getPermission());System.out.println(fileStatus.getLen());BlockLocation[] blockLocations = fileStatus.getBlockLocations();for (BlockLocation bl : blockLocations) {System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset());String[] hosts = bl.getHosts();for (String host : hosts) {System.out.println(host);}}System.out.println("--------------打印的分割线--------------");}}

6.上述例子的demo工程下载

hadoop-hdfs-test-master

HDFS Java 客户端使用(Windows开发环境)相关推荐

Android Studio 使用艺术 - Android Windows 开发环境配置
为什么80%的码农都做不了架构师?>>> Android Windows 开发环境配置配置JDK 下载JDK8 下载地址:http://www.oracle.com/tech ...
Java Learning 000 搭建开发环境
Java Learning 000 搭建开发环境你需要两个软件: * JDK (Java Develop Kit :Java开发工具包) * eclipse (eclipse 集成开发环境软件) 安 ...
2.2 Trino Windows开发环境搭建—源码修改篇
1. 前言在上一篇中,介绍了在Windows上搭建Trino开发环境所需要的组件.本篇文章,主要介绍通过修改源码,让Trino在Idea中运行起来. 2. 步骤 1)配置文件 Trino的配置文件位 ...
超级详细Window10安装Java JDK 和配置开发环境
Window10安装Java JDK 和配置开发环境准备工作下载 JDK8 百度云下载链接:https://pan.baidu.com/s/1vCmurwpOpAcwTJiXEZIXCA?pwd= ...
搭建一站式OpenHarmony设备开发Windows开发环境
搭建一站式OpenHarmony设备开发Windows开发环境. 作者:坚果团队:坚果派公众号:"大前端之旅" 润开鸿技术专家,华为HDE,InfoQ签约作者,OpenHarm ...
沁恒CH32V103C8T6(一): 核心板焊接和Windows开发环境配置
目录沁恒CH32V103C8T6(一): 核心板焊接和Windows开发环境配置沁恒CH32V103C8T6(二): Linux RISC-V编译和烧录环境配置 CH32V103C8T6 CH32 ...
Cmder：windows开发环境必备终端工具_安装及使用指南
Cmder--windows开发环境必备终端工具 windows开发环境必备,替代windows本身的cmd. Cmder is a software package created out pf p ...
【转】gcc for Windows 开发环境介绍
博客学院下载更多论坛问答活动码云商城写博客登录注册设置昵称主页消息设置反馈退出 gcc for Windows 开发环境介绍原创 2007年12月06日 12:53: ...
Windows Java JavaFX IntelliJ IDEA 开发环境搭建创建工程编译运行打包分发自定义运行时
博文目录文章目录本文说明 JavaFX 简单说明 JavaFX 版本说明 JavaFX 与 JDK 的关系 JavaFX 与 JDK Modular (JDK 9 模块化系统) JavaFX 模块 ...

HDFS Java 客户端使用(Windows开发环境)

HDFS Java 客户端使用(Windows开发环境)相关推荐

最新文章

热门文章