hadoop-HFDS

1.详情

1.架构图

2. 读写的流程图

2. 操作

1.使用MAVEN集成对应的jar包

     <!--HDFS 操作 API--><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.1</version></dependency>

2. java 代码实现

         //强制加载hadoop.dll  windows
//        System.load("F:\\hadoop\\bin\\hadoop.dll");//指定用户，如果当前操作的用户不是root，那么必须指定用户System.setProperty("HADOOP_USER_NAME", "root");
//        System.setProperty("hadoop.home.dir", "F:\\hadoop");// 1.连接 HDFS    import org.apache.hadoop.conf.Configuration;Configuration configuration  = new Configuration();configuration.set("fs.defaultFS","hdfs://192.168.80.111:9000");// 2. 获取文件系统对象  import org.apache.hadoop.fs.FileSystem;FileSystem fileSystem = FileSystem.get(configuration);// 是否是文件对象System.out.println(fileSystem.isFile(new Path("/input/wordcount")));System.out.println(fileSystem.isFile(new Path("/input")));System.out.println("-----------------------");// 是否是 文件夹System.out.println(fileSystem.isDirectory(new Path("/input/wordcount")));System.out.println(fileSystem.isDirectory(new Path("/input")));Path outputPath = new Path("/output2");if (!fileSystem.exists(outputPath)) {System.out.println("=====================");System.out.println(fileSystem.mkdirs(outputPath));FileInputStream fileInputStream = new FileInputStream(new File("C:\\Users\\Lenovo\\Desktop\\1.txt"));
//        FSDataInputStream fis = fileSystem.open(new Path(("/input/wordcount")));FSDataOutputStream fos = fileSystem.create(new Path("/"+outputPath.getName()+"/1.txt"));// 上传IOUtils.copyBytes(fileInputStream,fos,configuration);}else {FileOutputStream fileOutputStream = new FileOutputStream("C:\\Users\\Lenovo\\Desktop\\2.txt");FSDataInputStream fsi = fileSystem.open(new Path("/output/1.txt"));// 下载IOUtils.copyBytes(fsi,fileOutputStream,configuration);}fileSystem.close();

hadoop-HFDS相关推荐

Hadoop HFDS 的 Shell 操作
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...
数据技术之Hadoop（HFDS文件系统）
大数据技术之Hadoop (HDFS文件系统) 一 HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群 ...
大数据技术之Hadoop（HDFS）第2章 HFDS的Shell操作
1)基本语法 bin/hadoop fs 具体命令 2)命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile < ...
Hadoop回顾--HFDS原理、架构与特性介绍（一）
1:当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构 ...
Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
分享Hadoop处理大数据工具及优势
现如今,随着云计算技术.物联网技术的兴起,企业需要应对的数据规模越来越大.数据格式越来越复杂.数据收集速度越来越快,也使得它和传统意义的业务数据相比,有了明显的特点.比如ApacheHadoop已成为 ...
hadoop java操作hdfs
hfds 是一种文件系统,用于存储hadoop将要处理的数据.适用于大规模分布式数据处理,是一个可扩展行的文件分布式系统: 优点 1.如果出现节点宕机,hdfs,可以持续监视,错误检查,容错处理,文档 ...
Hadoop概念学习系列之Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
Hadoop：你不得不了解的大数据工具
2019独角兽企业重金招聘Python工程师标准>>> 如今Apache Hadoop已成为大数据行业发展背后的驱动力.Hive和Pig等技术也经常被提到,但是它们都有什么功能,为什 ...
Hadoop——你不得不了解的大数据工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力.Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper.Flume). Ha ...

hadoop-HFDS

1.详情

1.架构图

2. 读写的流程图

2. 操作

1.使用MAVEN集成对应的jar包

2. java 代码实现

hadoop-HFDS相关推荐

最新文章

热门文章