hadoop学习笔记4：java实现hdfs -ls/-lsr

2024-04-19 00:44:35

作业1：java代码实现hadoop fs -lsr的功能，调用FileSystem.listStatus(...)方法，显示结果，要求结果显示样式如hadoop fs -ls xxx的结果类似。

作业2：java 代码实现 hadoop fs -lsr 的功能

------上面两题的代码如下：

packagehdfs;

importjava.io.IOException;

importjava.net.URI;

importjava.net.URISyntaxException;

importorg.apache.commons.lang.time.DateFormatUtils;

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileStatus;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

publicclassTestFIleSystem {

publicstaticvoidmain(String[] args)throwsIOException,

URISyntaxException {

finalFileSystem fs = FileSystem.get(newURI("hdfs://chaoren1:9012"),

newConfiguration());

FileStatus[] listStatus = fs.listStatus(newPath("/"));

// java代码实现hadoop fs - lsr的功能，调用FileSystem.listStatus(...)方法，显示结果，要求结果显示样式如 hadoop fs -ls xxx的结果类似。

//ls (fs);

// java 代码实现 hadoop fs - lsr 的功能

lsr(fs, listStatus);

}

privatestaticvoidlsr(FileSystem fs, FileStatus[] listStatus)

throwsIOException {

for(FileStatus fileStatus : listStatus) {

// 判断是否是文件夹

finalbooleanisdir = fileStatus.isDir();

finalString permission = fileStatus.getPermission().toString();

finalshortreplication = fileStatus.getReplication();

finalString group = fileStatus.getGroup().toString();

finalString owner = fileStatus.getOwner().toString();

finallongblockSize = fileStatus.getBlockSize();

finalString modificationTime = DateFormatUtils.format (

fileStatus.getModificationTime(),"yyyy-MM-dd HH:mm:ss");

finalString path = fileStatus.getPath().toString();

finalString substringPath = path.substring(20, path.length());

System.out.println((isdir ?"d":"-")+ permission +" "

+ (replication > 0 ? replication :"-").toString() +" "

+ owner +" "+ group +" "+ blockSize +"\t\t"

+ modificationTime +" "+ substringPath);

if(isdir) {

lsr(fs, fs.listStatus(fileStatus.getPath()));

}

}

}

privatestaticvoidls(finalFileSystem fs)throwsIOException {

finalFileStatus[] listStatus = fs.listStatus(newPath("/"));

for(FileStatus fileStatus : listStatus) {

// 判断是否是文件夹

finalbooleanisdir = fileStatus.isDir();

finalString permission = fileStatus.getPermission().toString();

finalshortreplication = fileStatus.getReplication();

finalString group = fileStatus.getGroup().toString();

finalString owner = fileStatus.getOwner().toString();

finallongblockSize = fileStatus.getBlockSize();

finalString modificationTime = DateFormatUtils.format (

fileStatus.getModificationTime(),"yyyy-MM-dd HH:mm:ss");

finalString path = fileStatus.getPath().toString();

finalString substringPath = path.substring(20, path.length());

System.out.println((isdir ?"d":"-") + permission +" "

+ (replication > 0 ? replication :"-").toString() +" "

+ owner +" "+ group +" "+ blockSize +"\t\t"

+ modificationTime +" "+ substringPath);

}

}

}

作业3：从NameNode的源代码中找到NameNode是一个RPC Server的证据

(提示，只需要找到RPC.getServer的调用即可)

hadoop学习笔记4：java实现hdfs -ls/-lsr相关推荐

Hadoop学习笔记（四）HDFS部分下
Hadoop学习笔记(四)HDFS部分下一.HDFS 的数据流 1.1 HDFS的写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
hadoop学习笔记（八）：Java HDFS API
hadoop学习笔记(八):Java HDFS API 阅读目录一.使用HDFS FileSystem详解回到顶部一.使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoo ...
Hadoop学习笔记之HDFS
Hadoop学习笔记之HDFS HDFS (Hadoop Distributed File System) 优点缺点 HDFS操作命令操作HDFS Web端操作HDFS Java操作HDFS HD ...
Hadoop学习笔记-集群部署
前期准备使用三台主机,每台安装好JDK和Hadoop 参考:Hadoop学习笔记–单台安装同步小技巧 scp–rsync–编写xsync scp是主机之间安全拷贝数据的工具,一般的语法为 scp ...
Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...
Hadoop学习笔记—10.Shuffle过程那点事儿
Hadoop学习笔记-10.Shuffle过程那点事儿一.回顾Reduce阶段三大步骤在第四篇博文<初识MapReduce>中,我们认识了MapReduce的八大步骤,其中在Reduc ...

最新文章

热门文章