Java 访问 HDFS操作

Java 可以通过API访问HDFS, 主要用到几个类

下面是代码

package com.shidai.hadoop.hdfs01;import java.io.File;
import java.io.IOException;
import java.net.URI;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;import org.apache.commons.logging.Log;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
import org.apache.hadoop.hdfs.server.datanode.DataNode;
import org.codehaus.jettison.json.JSONException;
import org.codehaus.jettison.json.JSONObject;
import org.json.JSONArray;
import org.slf4j.*;import com.shidai.hadoop.utils.Constant;
import com.shidai.hadoop.utils.DateUtil;public class HDFSTest {private static String url = Constant.url;private static Configuration conf = new Configuration();public static void getAllDataNode() {try {FileSystem fs = FileSystem.get(conf);DistributedFileSystem distributedfs = (DistributedFileSystem) fs;DatanodeInfo[] datanodeInfos = distributedfs.getDataNodeStats();for (int i = 0; i < datanodeInfos.length; i++) {System.out.println("第" + i + "个datanode:" + datanodeInfos[i].getHostName());}} catch (IOException e) {e.printStackTrace();}}/*** 创建文件，并写入内容* * @param dst* @param contents* @throws IOException*/public static void createFile(String dst, byte[] contents) throws IOException {FileSystem fs = FileSystem.get(URI.create(url), conf);Path path = new Path(dst);FSDataOutputStream out = fs.create(path);out.write(contents);out.close();fs.close();System.out.println("创建文件成功");}/*** 读取文件* * @param dst* @throws JSONException* @throws ParseException*/public static void readFile(String dst) throws JSONException, ParseException {FileSystem fs;FSDataInputStream in;try {fs = FileSystem.get(URI.create(url), conf);in = fs.open(new Path(dst));byte[] ioBuffer = new byte[1024];StringBuffer sf = new StringBuffer();int len = -1;while ((len = in.read(ioBuffer)) != -1) {// System.out.write(ioBuffer,0,len);;String string = new String(ioBuffer, 0, len);sf.append(string);len = in.read(ioBuffer);}in.close();fs.close();System.out.println(sf.toString());JSONObject json = new JSONObject(sf.toString());Long time = json.getLong("last_time");String sd = DateUtil.getDate(time * 1000);System.out.println("上传时间:" + sd);} catch (IOException e) {e.printStackTrace();}}/*** 遍历文件* * @param dst*/public static void listFiles(String dst) {FileSystem fs = null;try {fs = FileSystem.get(URI.create(url), conf);RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path(dst), false);while (iterator.hasNext()) {LocatedFileStatus locatedFileStatus = iterator.next();if (locatedFileStatus.isFile()) {String path = locatedFileStatus.getPath().toString();System.out.println(path);if (!path.endsWith("tmp")) {readFile(path);}}}} catch (Exception e) {e.printStackTrace();}}/*** 上传文件* * @param src* @param dst*/public static void upload(String src, String dst) {FileSystem fs = null;try {fs = FileSystem.get(URI.create(url), conf);Path srcPath = new Path(src);Path dstPath = new Path(dst);fs.copyFromLocalFile(false, srcPath, dstPath);// 打印文件路径System.out.println("list files");FileStatus[] fileStatus = fs.listStatus(dstPath);for (FileStatus fstatus : fileStatus) {System.out.println(fstatus.getPath());}} catch (IOException e) {e.printStackTrace();} finally {if (fs != null) {try {fs.close();} catch (IOException e) {e.printStackTrace();}}}}/*** 删除文件* * @param args* @throws JSONException* @throws ParseException*/public static void delete(String dst) {FileSystem fs = null;try {fs = FileSystem.get(URI.create(url), conf);Boolean flag = fs.delete(new Path(dst), false);if (flag) {System.out.println("删除成功");} else {System.out.println("删除失败");}} catch (IOException e) {e.printStackTrace();}}public static void main(String[] args) throws JSONException, ParseException {System.setProperty("hadoop.home.dir", "C:/Users/root/.m2/repository/org/apache/hadoop/hadoop-common/2.5.2");byte[] contents = "明月几时有...\n".getBytes();/** try{ // createFile("/user/hadoop/test/hdfs01.txt", contents);* }catch(IOException e){ e.printStackTrace(); }*/// getAllDataNode();// upload("F:/yun/svn/1.txt", "/user/root/");// 读文件// readFile("/flume/data/FlumeData.1469543705102");// 遍历文件// listFiles("/flume/");// 删除文件delete("/user/root/test");}}

用的是Hadoop.2.5.2的版本，Maven构建工程

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.shidai.hadoop</groupId><artifactId>hdfs01</artifactId><version>0.0.1-SNAPSHOT</version><packaging>jar</packaging><name>hdfs01</name><url>http://maven.apache.org</url><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding></properties><dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>3.8.1</version><scope>test</scope></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.5.2</version></dependency><dependency><groupId>commons-cli</groupId><artifactId>commons-cli</artifactId><version>1.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.5.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.5.2</version></dependency><dependency><groupId>org.json</groupId><artifactId>json</artifactId><version>20090211</version></dependency></dependencies>
</project>

Java 访问 HDFS操作相关推荐

hadoop java访问_Hadoop（五）搭建Hadoop客户端与Java访问HDFS集群
上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx ...
java hdfs文件_使用Java访问HDFS中的文件
我试图使用Java API访问HDFS中的文件,但每次我都找不到文件.我用来访问的代码是: – Configuration conf = new Configuration(); conf.addRe ...
JAVA访问HDFS（满满干货！基础操作入门）
下面的入门源码里面都说明了功能,不多说(跑之前别忘了开启Hadoop) import java.net.URI;import org.apache.hadoop.conf.Configuration; ...
Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统
阅读目录(Content) 一.HDFS中数据块概述 1.1.HDFS集群中数据块存放位置 1.2.数据块(data block)简介 1.3.对分布式文件系统中的块进行抽象会带来很多好处二.Jav ...
JAVA API实现HDFS操作（二）操作函数
说明:在IDEA集成环境中利用JAVA API实现目录的创建.文件的创建.文件的上传和下载.文件的查看.文件删除.文件的编辑等操作.以下代码均创建在my.dfs包下创建文件夹在hdfs系统的根目录 ...
用Java API实现HDFS操作（三）问题汇总
说明:整理博主用Java API实现HDFS操作时遇到的问题问题为搭建分布式操作环境–在ubuntu16中安装IDEA2021.tomcat9.0.hadoop2.7,建议分配磁盘空间30G及以上 ...
Java API访问HDFS集群（HA）
title: Java API访问HDFS集群(HA) date: 2021-06-23 17:06:11 tags: HDFS hadoopV2版本及以后都是HA架构,active namenode ...
大数据学习笔记08：Java程序访问HDFS
文章目录一.HDFS常用Java API 1.org.apache.hadoop.fs.FileSystem 2.org.apache.hadoop.fs.FileStatus 3.org.apac ...
java访问domino数据库_关于Java与Domino数据库之间的操作
关于Java与Domino数据库之间的操作如果想使用Domino作为开发的DB,必须在Domino服务器端手动配置以下信息. 首先,我们需要使用DIIOP(具体是什么还不太清楚,暂时可以理解成用于运 ...

Java 访问 HDFS操作

Java 访问 HDFS操作相关推荐

最新文章

热门文章