HDFS学习 Java连接hadoop

文章目录

建立连接获取hadoop下的文件信息
编写hadoop连接工具类

建立连接获取hadoop下的文件信息

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;public class ListFile {public static void main(String [] args) throws IOException, Exception,URISyntaxException{FileSystem file = FileSystem.get(new URI("hdfs://虚拟机IP地址:9000"),new Configuration(),"hadoop");//获取FileSystem对象RemoteIterator<LocatedFileStatus> iterator = file.listFiles(new Path("/"), true);//调用listFiles 获取 /目录下所有的文件信息while(iterator.hasNext()) {//遍历 / 文件夹LocatedFileStatus fileStatus =  iterator.next();//获取文件状态对象Path path = fileStatus.getPath();//获取决定路径String name = path.getName();//获取名字System.out.println(path.toString()+"       "+path.getName());BlockLocation[] locations = fileStatus.getBlockLocations();//获取文件块的信息System.out.println("block"+locations.length);//输出文件块的大小}}
}

编写hadoop连接工具类

package com.clouddisk.cloud.util;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;public class HDFSUtils {private static Configuration conf ;private static FileSystem fs ;private static String address = "hdfs://192.168.43.60:9000";public FileSystem getConf() throws URISyntaxException, IOException, InterruptedException {conf = new Configuration();fs = FileSystem.get(new URI(address),conf,"hadoop");return fs;}public void release() throws IOException {fs.close();}public String getAddress(){return address;}
}

HDFS学习 Java连接hadoop相关推荐

连接hadoop java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binarie
java连接hadoop报错 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop ...
《Hadoop MapReduce实战手册》一2.8 使用HDFS的Java API
本节书摘来异步社区<Hadoop MapReduce实战手册>一书中的第2章,第2.8节,作者: [美]Srinath Perera , Thilina Gunarathne 译者: 杨卓 ...
云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin
云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin ...
【Hadoop/Java】基于HDFS的Java Web网络云盘
[Hadoop/Java]基于HDFS的Java Web网络云盘本人BNUZ大学生萌新,水平不足,还请各位多多指教! 实验目的熟悉HDFS Java API的使用: 能使用HDFS Java AP ...
Hadoop大数据分布式文件系统hdfs的Java操作
搭建开发环境(eclipse,hdfs的jar包----hadoop的安装目录的share下) <dependency><groupId>org.apache.hadoop&l ...
java hadoop api_Hadoop 系列HDFS的Java API（ Java API介绍）
HDFS的Java API Java API介绍将详细介绍HDFS Java API,一下节再演示更多应用. Java API 官网如上图所示,Java API页面分为了三部分,左上角是包(Pac ...
推荐系统lambda架构学习笔记之Hadoop、HDFS、YARNMapReduce（三）
Hadoop Hadoop介绍 Hadoop名字的由来作者:Doug cutting Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名 Hadoop的概念: Apache™ Hado ...
ArangoDB 学习笔记（二）AQL Java API | AQL语法 | 使用Java连接ArangoDB
文章目录参考资料一.ArangoDB Java Driver 支持的不同类型 1.1 BaseDocument 1.2 XML 1.3 Graph 二.AQL 2.1 AQL 语法 2.1.1 查 ...
eclipse手动pom本地包_环境篇--Eclipse如何远程连接Hadoop集群调试
关注 DLab数据实验室公众号带你一起学习大数据- 写在前面:最近终于闲下来了,打算把之前了解到的内容整理一下,先从搭建环境开始吧- 现在接触大数据开发的朋友可能直接使用Spark或者其他的查询引 ...

HDFS学习 Java连接hadoop

文章目录

建立连接获取hadoop下的文件信息

编写hadoop连接工具类

HDFS学习 Java连接hadoop相关推荐

最新文章

热门文章