Java 读写 hdfs文件或者目录

1.读取单个文件

[java] view plain copy

Date date = DateUtil.getSpecifiedDayBefore();
String yesterday = DateUtil.dateToStr(date, "yyyy-MM-dd");
String path = "hdfs://ip:9000/output_log/output_log_click" + yesterday;
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(path), conf);
FSDataInputStream hdfsInStream = fs.open(new Path(path));
InputStreamReader isr = new InputStreamReader(hdfsInStream, "utf-8");
BufferedReader br = new BufferedReader(isr);
String line;
// int k = 0;
while ((line = br.readLine()) != null) {
System.out.println(line);
}

2.读取文件夹

[java] view plain copy

Date date = DateUtil.getSpecifiedDayBefore();
String yesterday = DateUtil.dateToStr(date, "yyyy-MM-dd");
String path = "hdfs://ip:9000/output_log/output_log_click" + yesterday;
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(path), conf);
FileStatus[] status = fs.listStatus(new Path(path));
for (FileStatus file : status) {
if (!file.getPath().getName().startsWith("newsMap")) {
continue;
}
FSDataInputStream hdfsInStream = fs.open(file.getPath());
InputStreamReader isr = new InputStreamReader(hdfsInStream, "utf-8");
BufferedReader br = new BufferedReader(isr);
String line;
// int k = 0;
while ((line = br.readLine()) != null) {
System.out.println(line);
}
}

Java 读写 hdfs文件或者目录相关推荐

python读写hdfs文件的实用解决方案
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...
java 读取hdfs文件，注意事项
昨天在写java读取hdfs文件的时候一直报错 java.io.IOException: No FileSystem for scheme: hdfs ,这个问题纠结了很长时间(尝试添加core-si ...
hadoop fs:du统计hdfs文件（目录下文件）大小的用法
hadoop fs:du统计hdfs文件(目录下文件)大小的用法 hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_s ...
java读写excel文件poi_Java利用POI读写Excel文件工具类
本文实例为大家分享了Java读写Excel文件工具类的具体代码,供大家参考,具体内容如下 package com.test.app.utils; import java.io.File; import ...
Java读写txt文件案例-统计学生名单
Java读写txt文件案例-统计学生名单,具体应用请看代码中的实现原理. package shuzu; import java.io.BufferedReader; import java.io.Bu ...
Java操作Excel之POI：java读写excel文件以及打印设置
Java操作Excel之POI:java读写excel文件以及打印设置 POI的jar包下载地址:http://poi.apache.org/download.html 注意:项目中导入poi 4.0 ...
nohup: 无法运行命令“java“: 没有那个文件或目录
问题:nohup: 无法运行命令'java': 没有那个文件或目录在一个Linux服务器上有shell 脚本如下: nohup java -jar /home/safety_health/busni ...
java spark读写hdfs文件,Spark1.4从HDFS读取文件运行Java语言WordCounts
Hadoop:2.4.0 Spark:1.4.0 Ubuntu 14.0 1.首先启动Hadoop的HDFS系统. HADOOP_HOME/sbin/start-dfs.sh 2.在Linux ...
JAVA实现HDFS文件的读写
启动hdfs: start-all.sh 创建upload.txt文件:hadoop fs -touchz /upload.txt 在本地创建test.txt文件并将下面文字写入: The Apach ...

Java 读写 hdfs文件或者目录

Java 读写 hdfs文件或者目录相关推荐

最新文章

热门文章