hdfs 操作入门api

获取分布式文件系统

    // 获取文件系统
    @Testpublic void getFileSystem() throws Exception{Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), configuration, "ljs");System.out.println(fs);fs.close();}

URI 对象是指向hadoop集群中的namenode 节点，端口也是配置的 , user = “”ljs“” 用户

上传文件到hdfs文件系统

    //上传文件系统//@Testpublic void putFileTohdfs() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"),conf, "ljs");fs.copyFromLocalFile(true, new Path("d:/text"), new Path("/user/ljs/"));fs.close();}

从hdfs文件系统下载文件

public void getFileHDFS() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.copyToLocalFile(false,new Path("/user/ljs/w.txt"), new Path("d:/Demo/w.txt"),true);}

给hdfs文件系统创建目录s

@Testpublic void mkdirAtHDFs() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.mkdirs(new Path("user/ljs/output"));fs.close();}

删除某文件

    @Testpublic void deleteAtHDFS() throws Exception{//获取文件系统Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");//执行删除fs.delete(new Path("/user/ljs/text"),true);fs.close();}

给某个文件或目录改名字

@Testpublic void renameAtHDFS() throws Exception{Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://192.168.59.11:9000"), conf, "ljs");fs.rename(new Path("/user/ljs/user"), new Path("/user/ljs/SB"));fs.close();}

转载于:https://www.cnblogs.com/lijins/p/10067749.html

hdfs 操作入门api相关推荐

JAVA API实现HDFS操作（二）操作函数
说明:在IDEA集成环境中利用JAVA API实现目录的创建.文件的创建.文件的上传和下载.文件的查看.文件删除.文件的编辑等操作.以下代码均创建在my.dfs包下创建文件夹在hdfs系统的根目录 ...
用Java API实现HDFS操作（三）问题汇总
说明:整理博主用Java API实现HDFS操作时遇到的问题问题为搭建分布式操作环境–在ubuntu16中安装IDEA2021.tomcat9.0.hadoop2.7,建议分配磁盘空间30G及以上 ...
java hadoop api_Hadoop 系列HDFS的Java API（ Java API介绍）
HDFS的Java API Java API介绍将详细介绍HDFS Java API,一下节再演示更多应用. Java API 官网如上图所示,Java API页面分为了三部分,左上角是包(Pac ...
hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作实验2熟悉常用的HDFS操作 1实验目 ...
实验一熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
大数据Hadoop3.1.3 HDFS 详细入门笔记
网页右边,向下滑有目录索引,可以根据标题跳转到你想看的内容如果右边没有就找找左边主文章链接https://blog.csdn.net/grd_java/article/details/115639 ...
C语言与数据库操作入门
https://blog.csdn.net/flyingqd/article/details/78763652 C语言与数据库操作入门(Win版) 2017年12月10日 17:30:17 阅读数:1 ...
hadoop实战(三) 使用HDFS操作文件
一.hadoop简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNo ...
unity入门API————最常用的基类总结
unity入门API----最常用的基类总结前言学校的一个大创项目要用到unity,所以小学一下.但是unity这个体量似乎有点太大了吧-在书店淘了一本张尧写的<Unity3D从入门到实战& ...

hdfs 操作入门api

hdfs 操作入门api相关推荐

最新文章

热门文章

hdfs 操作 入门api

hdfs 操作 入门api相关推荐

最新文章

热门文章

hdfs 操作入门api

hdfs 操作入门api相关推荐