hdfs java操作_hdfs java操作
hdfs java操作
一般操作都是shell命令,记一下java操作
package hdfs;
import java.io.FileInputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;
import org.apache.hadoop.io.IOUtils;
public class HDFS{
public static void main(String[] args) throws Exception {
//http://www.baidu.com
final FileSystem fileSystem = FileSystem.get(new URI("hdfs://server4:9000"), new Configuration());
System.out.println("**************"+fileSystem.toString());
System.out.println("**************"+fileSystem.getClass());
//创建文件夹mkdirs
//fileSystem.mkdirs(new Path("mydir"));
//fileSystem.mkdirs(new Path("/dir2"), new FsPermission("111"));
//上传文件create
//final FSDataOutputStream out = fileSystem.create(new Path("/dir1/file1"), true, 1024000, (short)2, 1048576);
//final FileInputStream in = new FileInputStream("/root/Downloads/hello");
//IOUtils.copyBytes(in, out, 1024, true);
//final AtomicInteger writeBytes = new AtomicInteger(0);
//final FSDataOutputStream out = fileSystem.create(new Path("/dir1/file2"), new Progressable() {
//@Override
//public void progress() {
//System.out.println("WriteBytes = "+writeBytes.get());
//}
//});
//
//final FileInputStream in = new FileInputStream("/root/Downloads/hello");
//byte[] buffer = new byte[4];
//int readBytes = in.read(buffer);
//while(readBytes!=-1) {
//out.write(buffer);
//out.flush();
//out.hsync();
//writeBytes.addAndGet(readBytes);
//readBytes = in.read(buffer);
//}
//读取数据
//final FSDataInputStream in = fileSystem.open(new Path("/dir1/file1"));
//IOUtils.copyBytes(in, System.out, 1024, true);
//遍历
//final FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
//for (FileStatus fileStatus : listStatus) {
//System.out.println(fileStatus);
//}
//获取工作目录
//fileSystem.getWorkingDirectory().toString();
//删除
final Trash trash = new Trash(fileSystem, fileSystem.getConf());
trash.moveToTrash(new Path("/dir1/file1"));
fileSystem.delete(new Path("/dir1/file1"), true);
}
}
hdfs java操作_hdfs java操作相关推荐
- Java MapReduce 基本计算操作实现实战
Java MapReduce 基本计算操作实现实战 特别注意: 1.在运行代码的过程中注意自己本地Hadoop版本必须与服务器版本一致,否则会出现许多意向不到的问题; 2.数据之间不能有空行间隔; ...
- java大文件读写操作,java nio 之MappedByteBuffer,高效文件/内存映射
http://langgufu.iteye.com/blog/2107023 java处理大文件,一般用BufferedReader,BufferedInputStream这类带缓冲的Io类,不过如果 ...
- java对cookie的操作
原文:http://www.cnblogs.com/muzongyan/archive/2010/08/30/1812552.html java对cookie的操作比较简单,主要介绍下建立cookie ...
- java大文件读写操作
转载自:http://blog.csdn.net/akon_vm/article/details/7429245 RandomAccessFile RandomAccessFile是用来访问那些保存数 ...
- java代码操作git_JGit--实现Git命令操作的Java API
问题来源:最近在做一个项目,其中有一块需要用户上传代码到服务器中,然后分析用户所传的代码,传代码最直接的方式就是用户打个包上传,但是后期再分析代码的时候还要代码实现解压上传的代码,操作起来比较复杂. ...
- java对文本文件进行操作:读取、修改、添加、删除、重命名等
java对文本文件进行操作:读取.修改.添加.删除.重命名等 Java IO 也称为IO流,IO = 流,它的核心就是对文件的操作,对于 字节 .字符类型的输入和输出流. IO是指对数据流的输入和输出 ...
- 利用Java存储过程简化数据库操作
利用Java存储过程沟通SQL.XML.Java.J2EE和Web服务. 存储过程(stored procedure)允许将运行于数据库层中的持久性逻辑与运行于中间层中的商务逻辑有效地分离开来. ...
- Java最全文件操作实例汇总
本文实例汇总了Java文件操作.分享给大家供大家参考,具体如下: 1.创建文件夹 ? 1 2 3 4 5 6 7 8 9 10 11 //import java.io.*; File myFolder ...
- JAVA中用 SQL语句操作小结
1.添加记录(INSERT) 使用SQL语句的INSERT命令可以向数据库中插入记录,INSERT命令的基本形式为: INSERT INTO 表名 [(字段名1,字段名2-)] VALUES (值1, ...
最新文章
- asp.net core上使用redis探索(1)
- java queue 线程安全_java并发编程之线程安全方法
- java外部类调用内部类_java中的外部类和内部类 | 学步园
- Vue + Element UI——搜索框DEMO
- XCTF-Web-高手区-easytornado
- IT-标准化-系列-15.在VPC 2007中构建虚拟网络
- Windows 7 下玩游戏不能全屏?
- CSS:标签右对齐,文本框左对齐的实现
- RH413-GRUB加密
- CentOS install btsync
- word转网页html,Word转网页html
- Pόlya定理详解及例题
- 论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
- 日常快捷键、代码快捷键
- CMMI2.0之我见-技术解决方案TS产品集成PI
- idea springboot,maven项目注解,引用等飘红
- 无货源开网店,淘宝,京东,拼多多,哪个最好?
- 2020.8.5课堂笔记(多线程)
- 微信红包生成器App遭腾讯起诉:被判赔偿75万元
- 呼叫中心系统的CRM客户管理模块的功能