Hadoop大数据分布式文件系统hdfs的Java操作

搭建开发环境（eclipse，hdfs的jar包----hadoop的安装目录的share下）

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.4.1</version>
</dependency>

建议在linux下进行客户端应用的开发，不会存在兼容性问题。
如果非要在window上做客户端应用开发，需要设置以下环境：
A、在windows的某个目录下解压一个hadoop的安装包
B、将安装包下的lib和bin目录用对应windows版本平台编译的本地库替换
C、在window系统中配置HADOOP_HOME指向你解压的安装包
D、在windows系统的path变量中加入hadoop的bin目录

在java中操作hdfs，首先要获得一个客户端实例

Configuration conf = new Configuration()
FileSystem fs = FileSystem.get(conf)

而我们的操作目标是HDFS，所以获取到的fs对象应该是DistributedFileSystem的实例；
get方法是从何处判断具体实例化那种客户端类呢？
----从conf中的一个参数 fs.defaultFS的配置值判断；
如果我们的代码中没有指定并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为： file:///

fs所具备的方法：

可以随机定位读取位置：DFSInputStream.seek()

Hadoop大数据分布式文件系统hdfs的Java操作相关推荐

Hadoop大数据分布式文件系统hdfs的工作机制
HDFS集群分为两大角色:NameNode.DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 namenode工作机制 namenode职责: ...
Hadoop技术(一)分布式文件系统HDFS
分布式文件系统HDFS 第一章统一思维单机大数据处理实现以及问题问题引入现在收集到的想法问题升级第二章 Hadoop 一 Hadoop简介 HDFS优点 HDFS缺点二 Hadoop分布 ...
大数据课堂笔记 HDFS的shell操作
一.HDFS常用命令操作实战启动Hadoop集群执行命令 start-yarn.sh 1.创建目录 (1).单层目录执行命令 hdfs dfs -mkdir /ied 利用WebUI查看 ...
hadoop大数据--深入讲解hdfs源码
hdfs 读数据的流程 1.跟namenode通信查询元数据,找到文件块所在的datanode服务器. 2.挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流. 3.data ...
吴裕雄--天生自然 HADOOP大数据分布式处理：修改CenterOS 7系统时间为北京时间
转载于:https://www.cnblogs.com/tszr/p/11199134.html
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
Atittit HDFS hadoop 大数据文件系统java使用总结目录 1. 操作系统，进行操作 1 2. Hdfs 类似nfs ftp远程分布式文件服务 2 3. 启动hdfs服务start
Atittit HDFS hadoop 大数据文件系统java使用总结目录 1. 操作系统,进行操作 1 2. Hdfs 类似nfs ftp远程分布式文件服务 2 3. 启动hdfs服务start- ...
大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）
系列博客 1.大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机 2.大数据技术之Hadoop编译源码 3.大数据技术之Hadoop分布式文件系统HDFS系统知识整理(从入门 ...
Hadoop大数据原理(2) - 分布式文件系统HDFS
文章目录 1. 数据存储问题 2. RAID技术的原理和思路 2.1 常用RAID的原理介绍 2.2 RAID间的性能比较 3. 大数据时代的分布式文件系统 3.1 HDFS的稳固地位 3.2 HDF ...

Hadoop大数据分布式文件系统hdfs的Java操作

Hadoop大数据分布式文件系统hdfs的Java操作相关推荐

最新文章

热门文章