Java实现获取HDFS子目录数量_Java实现读取HDFS目录

LOG.info("检查是否有当前日期的目录");

fsUtil.checkDirExists(new File(configUtil.readConfig("download.file.path") + currentDay));

FSDataInputStream in = null;

LOG.info("生成以JobID命名的目录");

String fileName = configUtil.readConfig("download.file.path") + currentDay + "/" + jobID + ".csv";

File file = new File(fileName);

List> dataList = new ArrayList<>();

InputStreamReader inputStreamReader = null;

try {

String dataPath = configUtil.readConfig("offLine.data.path") + currentDay + "/" + jobID + ".csv/";

LOG.info(dataPath);

Path path = new Path(dataPath);

Configuration configuration = dfsUtil.getHadoopConf();

FileSystem hdfs = FileSystem.get(configuration);

BufferedReader br = null;

if (hdfs.exists(path) && hdfs.isDirectory(path)) {

FileStatus[] srcFileStatus = hdfs.listStatus(path);

for (FileStatus fs : srcFileStatus) {

if (fs.getLen() > 0) {

String line;

in = hdfs.open(fs.getPath());

inputStreamReader = new InputStreamReader(in, "UTF-8");

br = new BufferedReader(inputStreamReader);

while ((line = br.readLine()) != null) {

dataList.add(Lists.newArrayList(new String(line.getBytes(Constant.CODE_FORMAT))));

}

} catch (Exception error) {

error.getMessage();

error.printStackTrace();

} finally {

org.apache.hadoop.io.IOUtils.closeStream(in);

}

Java实现获取HDFS子目录数量_Java实现读取HDFS目录相关推荐

java向hdfs提交命令_Java语言操作HDFS常用命令测试代码
本文主要向大家介绍了Java语言操作HDFS常用命令测试代码,通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. package com.yxc.hdfs; import org.apac ...
java 反射获取父类的字段_java反射获取父类和子类字段值、赋值
这里将告诉您java反射获取父类和子类字段值.赋值,具体操作过程:java反射获取字段值.赋值 import org.springframework.util.ReflectionUtils; imp ...
java怎样获取线程的进度_java中的多线程——进度2
多线程总结: 1,进程和线程的概念. |--进程:是一块包含了某些资源的内存区域.操作系统利用进程把它的工作划分为一些功能单元: 最小的内存单元: 是具有一定独立功能的程序关于某个数据集合上的一次运行 ...
java微信获取用户信息接口_java微信接口之二—获取用户组
一.微信获取用户组接口简介 1.请求该请求也是GET方式请求.请求的url格式如下: https://api.weixin.qq.com/cgi-bin/groups/get?access_toke ...
java ffmpeg 获取视频时长_Java通过调用FFMPEG获取视频时长
FFmpeg是一套可以用来记录.转换数字音频.视频,并能将其转化为流的开源计算机程序.采用LGPL或GPL许可证.它提供了录制.转换以及流化音视频的完整解决方案.它包含了非常先进的音频/视频编解码库l ...
Java读取hdfs目录下所有文件_Java API 读取HDFS目录下的所有文件
/** * 获取1号店生鲜食品的分类id字符串 * @param filePath * @return */ public String getYHDSXCategoryIdStr(String fi ...
java怎么获取中文首字母_Java如何获取中文拼音首字母的方法介绍
下面小编就为大家带来一篇java获取中文拼音首字母的实例.小编觉得挺不错的,现在就分享给大家,也给大家做个参考.一起跟随小编过来看看吧如下所示: import net.sourceforge.pin ...
java高效获取内部类属性值_Java高级特性：内部类
内部类是什么内部类是指在一个外部类的内部再定义一个类.内部类作为外部类的一个成员,并且依附于外部类而存在的.内部类可为静态,可用protected和private修饰(而外部类只能使用public和 ...
java如何获取明天的时间_java获取各种格式的时间，获取昨天明天日期，获取一天的开始结束时间...
一.获取当前日期和时间 1.使用Date和DateFormat Date now = new Date(); DateFormat df1 = DateFormat.getDateInstance() ...

Java实现获取HDFS子目录数量_Java实现读取HDFS目录

Java实现获取HDFS子目录数量_Java实现读取HDFS目录相关推荐

最新文章

热门文章