Hadoop框架:HDFS读写机制与API详解
本文源码:GitHub·点这里 || GitEE·点这里
一、读写机制
1、数据写入
- 客户端访问NameNode请求上传文件;
- NameNode检查目标文件和目录是否已经存在;
- NameNode响应客户端是否可以上传;
- 客户端请求NameNode文件块Block01上传服务位置;
- NameNode响应返回3个DataNode节点;
- 客户端通过输入流建立DataNode01传输通道;
- DataNode01调用DataNode02,DataNode02调用DataNode03,通信管道建立完成;
- DataNode01、DataNode02、DataNode03逐级应答客户端。
- 客户端向DataNode01上传第一个文件块Block;
- DataNode01接收后传给DataNode02,DataNode02传给DataNode03;
- Block01传输完成之后,客户端再次请求NameNode上传第二个文件块;
2、数据读取
- 客户端通过向NameNode请求下载文件;
- NameNode查询获取文件元数据并返回;
- 客户端通过元数据信息获取文件DataNode地址;
- 就近原则选择一台DataNode服务器,请求读取数据;
- DataNode传输数据返回给客户端;
- 客户端以本地处理目标文件;
二、基础API案例
1、基础演示接口
public interface HdfsFileService {// 创建文件夹void mkdirs(String path) throws Exception ;// 文件判断void isFile(String path) throws Exception ;// 修改文件名void reName(String oldFile, String newFile) throws Exception ;// 文件详情void fileDetail(String path) throws Exception ;// 文件上传void copyFromLocalFile(String local, String path) throws Exception ;// 拷贝到本地:下载void copyToLocalFile(String src, String dst) throws Exception ;// 删除文件夹void delete(String path) throws Exception ;// IO流上传void ioUpload(String path, String local) throws Exception ;// IO流下载void ioDown(String path, String local) throws Exception ;// 分块下载void blockDown(String path, String local1, String local2) throws Exception ;
}
2、命令API用法
@Service
public class HdfsFileServiceImpl implements HdfsFileService {@Resourceprivate HdfsConfig hdfsConfig ;@Overridepublic void mkdirs(String path) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、创建目录fileSystem.mkdirs(new Path(path));// 3、关闭资源fileSystem.close();}@Overridepublic void isFile(String path) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、判断文件和文件夹FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));for (FileStatus fileStatus : fileStatuses) {if (fileStatus.isFile()) {System.out.println("文件:"+fileStatus.getPath().getName());}else {System.out.println("文件夹:"+fileStatus.getPath().getName());}}// 3、关闭资源fileSystem.close();}@Overridepublic void reName(String oldFile, String newFile) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、修改文件名fileSystem.rename(new Path(oldFile), new Path(newFile));// 3、关闭资源fileSystem.close();}@Overridepublic void fileDetail(String path) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、读取文件详情RemoteIterator<LocatedFileStatus> listFiles =fileSystem.listFiles(new Path(path), true);while(listFiles.hasNext()){LocatedFileStatus status = listFiles.next();System.out.println("文件名:"+status.getPath().getName());System.out.println("文件长度:"+status.getLen());System.out.println("文件权限:"+status.getPermission());System.out.println("所属分组:"+status.getGroup());// 存储块信息BlockLocation[] blockLocations = status.getBlockLocations();for (BlockLocation blockLocation : blockLocations) {// 块存储的主机节点String[] hosts = blockLocation.getHosts();for (String host : hosts) {System.out.print(host+";");}}System.out.println("==============Next==============");}// 3、关闭资源fileSystem.close();}@Overridepublic void copyFromLocalFile(String local, String path) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、执行上传操作fileSystem.copyFromLocalFile(new Path(local), new Path(path));// 3、关闭资源fileSystem.close();}@Overridepublic void copyToLocalFile(String src,String dst) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、执行下载操作// src 服务器文件路径 ; dst 文件下载到的路径fileSystem.copyToLocalFile(false, new Path(src), new Path(dst), true);// 3、关闭资源fileSystem.close();}@Overridepublic void delete(String path) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、删除文件或目录 是否递归fileSystem.delete(new Path(path), true);// 3、关闭资源fileSystem.close();}@Overridepublic void ioUpload(String path, String local) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、输入输出流FileInputStream fis = new FileInputStream(new File(local));FSDataOutputStream fos = fileSystem.create(new Path(path));// 3、流对拷IOUtils.copyBytes(fis, fos, configuration);// 4、关闭资源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}@Overridepublic void ioDown(String path, String local) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、输入输出流FSDataInputStream fis = fileSystem.open(new Path(path));FileOutputStream fos = new FileOutputStream(new File(local));// 3、流对拷IOUtils.copyBytes(fis, fos, configuration);// 4、关闭资源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}@Overridepublic void blockDown(String path,String local1,String local2) throws Exception {readFileSeek01(path,local1);readFileSeek02(path,local2);}private void readFileSeek01(String path,String local) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、输入输出流FSDataInputStream fis = fileSystem.open(new Path(path));FileOutputStream fos = new FileOutputStream(new File(local));// 3、部分拷贝byte[] buf = new byte[1024];for(int i =0 ; i < 1024 * 128; i++){fis.read(buf);fos.write(buf);}// 4、关闭资源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}private void readFileSeek02(String path,String local) throws Exception {// 1、获取文件系统Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、输入输出流FSDataInputStream fis = fileSystem.open(new Path(path));// 定位输入数据位置fis.seek(1024*1024*128);FileOutputStream fos = new FileOutputStream(new File(local));// 3、流拷贝IOUtils.copyBytes(fis, fos, configuration);// 4、关闭资源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}
}
3、合并切割文件
cat hadoop-2.7.2.zip.block1 hadoop-2.7.2.zip.block2 > hadoop.zip
三、机架感知
Hadoop2.7的文档说明
第一个副本和client在一个节点里,如果client不在集群范围内,则这第一个node是随机选取的;第二个副本和第一个副本放在相同的机架上随机选择;第三个副本在不同的机架上随机选择,减少了机架间的写流量,通常可以提高写性能,机架故障的概率远小于节点故障的概率,因此该策略不会影响数据的稳定性。
四、网络拓扑
HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据,基于机架感知,NameNode就可以画出上图所示的datanode网络拓扑图。D1,R1都是交换机,最底层是datanode。
Distance(/D1/R1/N1,/D1/R1/N1)=0 相同的节点
Distance(/D1/R1/N1,/D1/R1/N2)=2 同一机架下的不同节点
Distance(/D1/R1/N1,/D1/R2/N1)=4 同一IDC下的不同datanode
Distance(/D1/R1/N1,/D2/R3/N1)=6 不同IDC下的datanode
五、源代码地址
GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent
推荐阅读:编程体系整理
序号 | 项目名称 | GitHub地址 | GitEE地址 | 推荐指数 |
---|---|---|---|---|
01 | Java描述设计模式,算法,数据结构 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
02 | Java基础、并发、面向对象、Web开发 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆ |
03 | SpringCloud微服务基础组件案例详解 | GitHub·点这里 | GitEE·点这里 | ☆☆☆ |
04 | SpringCloud微服务架构实战综合案例 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
05 | SpringBoot框架基础应用入门到进阶 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆ |
06 | SpringBoot框架整合开发常用中间件 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
07 | 数据管理、分布式、架构设计基础案例 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
08 | 大数据系列、存储、组件、计算等框架 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
Hadoop框架:HDFS读写机制与API详解相关推荐
- 【hadoop框架】MapReduce 在 YARN 运行详解
(1)Client向Yarn主节点RM提交应用 bin/yarn jar MainClass args (2)RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者 ( ...
- Hadoop之HDFS读写数据流程
Hadoop之HDFS读写数据流程 目录 HDFS写数据流程 HDFS读数据流程 网络拓扑概念 机架感知 1. HDFS写数据流程 HDFS写数据流程,如下图 客户端通过Distributed Fil ...
- 自动化测试框架[Cypress命令行执行测试详解]
前提 已经熟练掌握了Cypress的基本知识,请参考自动化测试框架[Cypress概述]和自动化测试框架[各自动化测试框架比较] 已经熟练掌握Cypress环境配置,请参考自动化测试框架[Cypres ...
- Hotspot JNIEnv API详解(二)
目录 一.字符串操作 1.常见的编码格式 2.乱码问题根源 3.字符串API 4.jni_NewString和jni_NewStringUTF源码解析 二.数组操作 三.Monitor操作 四.NIO ...
- jdbc mysql 自动重连_JDBC实现Mysql自动重连机制的方法详解
JDBC是Java程序连接和访问各种数据库的API,它可以提供Java程序和各种数据库之间的连接服务,下面是爱站技术频道小编为大家带来的JDBC实现Mysql自动重连机制的方法详解. 日志:using ...
- java nio详解,Java NIO API详解
Java NIO API详解 在JDK 1.4以前,Java的IO操作集中在java.io这个包中,是基于流的阻塞(blocking)API.对于大多数应用来说,这样的API使用很方 便,然而,一些对 ...
- 三大框架题目整合考试题(含详解)
三大框架题目整合考试题(含详解) 1.在Hibernate的关联关系映射配置中,下列选项对于inverse说法错误的是(bd). (选择二项) A. inverse属性指定了关联关系中的方向 //in ...
- H5的新特性及API详解(很惊人)
H5的新特性及API详解(很惊人) 2017-01-20 17:00 4057人阅读 评论(0) 收藏 举报 分类: h5(11) js函数(64) js技巧(15) 版权声明:本文为博主原创 ...
- Xposed API详解
Xposed API详解 Hook修改变量 Hook普通方法 回调函数 XC_MethodHook XC_MethodReplacement Hook获取参数与返回值 获取参数 获取返回值 Hook构 ...
最新文章
- 5300亿NLP模型“威震天-图灵”发布,由4480块A100训练,微软英伟达联合出品
- Python基础教程:数据结构
- 【FLASH BUILDER 4.6 快捷键】只记几个对自己有帮助的
- TCP/IP数据包结构分析
- 每日一题题目16:简单的python练习题(1-10)
- Java重载遇到泛型
- 笔记本电脑键盘失灵一键修复_笔记本部分按键失灵的键盘可以用了,省下键盘的钱...
- java word转pdf jacob_java使用jacob.jar将word转pdf
- git提交报异常,fatal: The remote end hung up unexpectedly
- Excel控制AutoCad进行坐标标注
- java:找不到符号
- 程序员去面试的梗!面试官:“哦了,明天来上班吧”
- python实现千牛客服自动回复语_千牛自动回复语大全
- powerdesigner中把用例关系线设置成直线
- 年薪40W+,2018年程序员如何跳出35岁“失业”怪圈?
- 5.Unity2D 横版 对象池的创建
- 短视频营销的3个重点:KOL化+话题性+深度互动
- Monaco Editor教程(八): 实现添加自定义命令,添加自定义菜单action功能
- 常见模拟电路设计 二 (含仿真) : 单片机ADC测量正负电压电路设计
- 计算机解决问题一般需要六步,用计算机解决问题一般步骤.doc
热门文章
- (王道408考研数据结构)第二章线性表-第三节5:顺序表和链表的比较
- VS Code+Vim打造C/C++极致开发环境
- 面试题 03.02. 栈的最小值/面试题30. 包含min函数的栈/155. 最小栈
- Jboss未授权访问漏洞记录(影响版本:全版本,端口:80,8080)
- caffe学习路的起点
- Git HEAD detached from XXX (git HEAD 游离) 解决办法
- redis持久化之rdb篇
- SSL 1624——小萨的烦恼【最短路】【枚举】
- [原]openstack-kilo--issue(十八) Error parsing template file: Template format version not found.
- 【转】【Linux】sed命令详解