Hadoop读书笔记（三）Java API操作HDFS

Hadoop读书笔记（一）Hadoop介绍：http://blog.csdn.net/caicongyang/article/details/39898629

Hadoop读书笔记（二）HDFS的shell操作:http://blog.csdn.net/caicongyang/article/details/41253927

JAVA URL 操作HDFS

OperateByURL.java

package hdfs;import java.io.InputStream;
import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;public class OperateByURL {private static final String PATH ="hdfs://192.168.80.100:9000/test.txt";public static void main(String[] args) throws Exception {//查看文件URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());URL url = new URL(PATH);InputStream in = url.openStream();IOUtils.copyBytes(in, System.out, 1024,true);}
}

Hadoop Java api 操作HDFS

OperateByHadoopAPI.Java

package hdfs;import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.net.URI;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;public class OperateByHadoopAPI {//Hadoop HDFS路径private static final String PATH="hdfs://192.168.80.100:9000/";private static final String DIR="/d1";private static final String FILE="/d1/default.cfg";public static void main(String[] args) throws Exception {FileSystem fileSystem = FileSystem.get(new URI(PATH), new Configuration());//创建文件夹fileSystem.mkdirs(new Path(DIR));//上传文件//方法一//fileSystem.copyFromLocalFile(new Path("F:/hadoopbaiduyundownload/liclog.txt"), new Path(DIR));//方法二FSDataOutputStream out = fileSystem.create(new Path(FILE));FileInputStream in = new FileInputStream(new File("F:/hadoopbaiduyundownload/default.cfg"));IOUtils.copyBytes(in, out, 1024, true);//下载//方法一  产生WARN 待解决：14/11/19 21:39:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFile file = new File("F:/hadoopbaiduyundownload/test.txt");File file2 = new File("F:/hadoopbaiduyundownload/test2.txt");fileSystem.copyToLocalFile(new Path("hdfs://192.168.80.100:9000/test.txt"), new Path(file.getAbsolutePath()));//方法二FSDataInputStream inputStream = fileSystem.open(new Path("hdfs://192.168.80.100:9000/test.txt"));FileOutputStream outputStream = new FileOutputStream(file2.getAbsolutePath());IOUtils.copyBytes(inputStream, outputStream, 1024, true);//遍历文件夹FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));for (FileStatus fileStatus : listStatus) {System.out.println(fileStatus.isDir()?"文件夹":"文件"+" "+fileStatus.getOwner()+" "+fileStatus.getReplication()+" "+ fileStatus.getPath());}//删除文件/*** @parameter path* @parameter boolean ：如果填true，path为文件夹时递归删除* */fileSystem.delete(new Path(DIR), true);}
}

欢迎大家一起讨论学习！

有用的自己收!

记录与分享，让你我共成长！欢迎查看我的其他博客；我的博客地址：http://blog.csdn.net/caicongyang

Hadoop读书笔记（三）Java API操作HDFS相关推荐

Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS
场景 HDFS的访问方式之HDFS shell的常用命令: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119351218 在上 ...
Windows下使用Java API操作HDFS的常用方法
场景 Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/det ...
通过java api操作hdfs（kerberos认证）
参考代码如下 import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs ...
Kafka系列三 java API操作
使用java API操作kafka 1.pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs ...
hadoop安装以及Java API操作hdfs
因为工作需求,需要我这边实现一个大文件上传到HDFS的功能,因为本机无法连接公司内网的集群,无奈只好自己动手搭建一个单节点的Hadoop来满足工作的需求.下面简单介绍下安装过程中遇到的坑我的机器是阿 ...
Java API操作HDFS
一.问题介绍 1.基于HDFS 的Java API实现如下功能:(1)本地文件上传到HDFS:(2)从HDFS中下载文件到本地系统:(3)HDFS中目录的创建.删除.重命名:(4)查看目录中所有文件的 ...
使用java api操作HDFS文件
实现的代码如下: 1 import java.io.IOException; 2 import java.net.URI; 3 import java.net.URISyntaxException; ...
Hadoop详解（四）：HDFS shell操作和Java API操作
1. HDFS环境准备 1.1 HDFS的格式化与启动 HDFS配置完之后就可以对其进行格式化操作.在NameNode所在机器上执行如下命令进行HDFS的格式化操作: hadoop namenode ...
Hadoop读书笔记（四）HDFS体系结构
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记(二)HDFS的sh ...

Hadoop读书笔记（三）Java API操作HDFS

Hadoop读书笔记（三）Java API操作HDFS相关推荐

最新文章

热门文章