Hadoop之HDFS的使用

HDFS介绍

HDFS 是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。
分布式文件管理系统有很多，HDFS 只是其中一种实现
注意：HDFS 不适合存储小文件（几KB或几M的小文件）

HDFS基础操作

操作格式
hdfs dfs -xxx schema: // authority / path
-xxx : 命令（读、写、创建、查看等）
schema ：hdfs
authority ：地址+端口（bigdata01:9000）
path ：路径
上传文件

# 上传 NOTICE.txt 文件至根路径
hdfs dfs -put NOTICE.txt hdfs://bigdata01:9000/

查看指定路径信息

# 查看根目录下信息
hdfs dfs -ls hdfs://bigdata01:9000/

# 查看根目录多级文件及目录信息
hdfs dfs -ls -R hdfs://bigdata01:9000/

4. 查看 HDFS 文件内容

# 查看 NOTICE.txt 文件内容
hdfs dfs -cat hdfs://bigdata01:9000/NOTICE.txt

下载文件到本地

# 下载 NOTICE.txt 文件至本地当前目录下
hdfs dfs -get hdfs://bigdata01:9000/NOTICE.txt .
# 下载 NOTICE.txt 文件至本地上一层目录下
hdfs dfs -get hdfs://bigdata01:9000/NOTICE.txt ../
# 下载 NOTICE.txt 文件至本地当前目录下并指定新文件名
hdfs dfs -get hdfs://bigdata01:9000/NOTICE.txt NOTICE.txt.bak

6. 创建目录

# 在根目录下创建 test 目录
hdfs dfs -mkdir hdfs://bigdata01:9000/test
# 递归创建多级目录
hdfs dfs -mkdir -p hdfs://bigdata01:9000/abc/xyz

# 删除 NOTICE.txt 文件
hdfs dfs -rm hdfs://bigdata01:9000/NOTICE.txt
# 删除 NOTICE.txt 文件
hdfs dfs -rm -r hdfs://bigdata01:9000/abc

8. 统计目录下文件数量

# 统计根目录下文件数量
hdfs dfs -ls hdfs://bigdata01:9000/

9. 统计目录下文件大小

# 统计根目录下文件大小
hdfs dfs -ls hdfs://bigdata01:9000/ | grep / | awk -F ' ' '{print $8,$5}'

Java操作HDFS

由于操作 HDFS 会进行用户验证，配置不进行验证

# 停止服务
stop-all.sh
# 打开配置文件 hdfs-site.xml
vi /usr/local/hadoop-3.2.0/etc/hadoop/hdfs-site.xml
# 添加如下属性
<property><name>dfs.permissions.enabled</name><value>false</value>
</property>
# 启动服务
start-all.sh
# 查看进程是否正确
jps

Maven 项目进入依赖

<!-- 引入 hadoop-3.2.0 依赖-->
<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.2.0</version>
</dependency>

写如下测试代码

package com.july.hdfs;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;import java.io.*;/*** @Auther: july* @Date: 2022-02-19 - 18:29 * @Description: 对 hadoop3.2.0 HDFS 上传文件、下载文件、删除文件操作* @version: 1.0*/
public class HdfsDemo {public static void main(String[] args) throws IOException {// 创建一个配置对象Configuration conf = new Configuration();// 指定 HDFS 地址conf.set("fs.defaultFS", "hdfs://192.168.30.128:9000");// 获取操作 HDFS 的对象FileSystem fileSystem = FileSystem.get(conf);// 上传文件//new HdfsDemo().uploadFile(fileSystem);// 下载文件//new HdfsDemo().downloadFile(fileSystem);// 删除文件或目录new HdfsDemo().deleteFile(fileSystem);}// 删除文件public void deleteFile(FileSystem fileSystem) {try {// 删除指定的文件或目录，当删除目录时第二个参数设置为 true 为递归删除boolean result = fileSystem.delete(new Path("/test.txt"), true);System.out.println( result ? "删除成功" : "删除失败");} catch (IOException e) {e.printStackTrace();}}// 下载文件public void downloadFile(FileSystem fileSystem) {OutputStream outputStream;FSDataInputStream fsDataInputStream;try {// 本地文件输出流outputStream = new FileOutputStream("D:\\NOTICE.txt");// 获取 HDFS 文件系统的输入流fsDataInputStream = fileSystem.open(new Path("/NOTICE.txt"));// 下载文件，并自动关闭流IOUtils.copyBytes(fsDataInputStream, outputStream, 1024, true);} catch (Exception e) {e.printStackTrace();}}// 上传文件public void uploadFile(FileSystem fileSystem) {InputStream inputStream;FSDataOutputStream fsDataOutputStream;try {// 本地文件输入流inputStream = new FileInputStream("C:\\test.log");// 获取 HDFS 文件系统的输出流fsDataOutputStream = fileSystem.create(new Path("/test.log"));// 上传文件，并自动关闭流IOUtils.copyBytes(inputStream, fsDataOutputStream, 1024, true);} catch (Exception e) {e.printStackTrace();}}
}

Hadoop之HDFS的使用相关推荐

安装完Hadoop之后，命令行输入hadoop或hdfs却找不到命令的解决方法
安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法参考文章: (1)安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 (2)https:// ...
Hadoop基础-HDFS集群中大数据开发常用的命令总结
Hadoop基础-HDFS集群中大数据开发常用的命令总结作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...
Hadoop之HDFS面试知识复习
Hadoop之HDFS面试知识复习目录 HDFS的存储机制 secondary namenode工作机制 NameNode与SecondaryNameNode 的区别与联系? hdfs整体架构介绍 ...
Hadoop之HDFS读写数据流程
Hadoop之HDFS读写数据流程目录 HDFS写数据流程 HDFS读数据流程网络拓扑概念机架感知 1. HDFS写数据流程 HDFS写数据流程,如下图客户端通过Distributed Fil ...
Hadoop之HDFS常用Shell命令
Hadoop之HDFS常用Shell命令启动Hadoop集群 sbin/start-dfs.shsbin/start-yarn.sh -help:输出这个命令参数 hadoop fs -help r ...
Hadoop之HDFS概述
Hadoop之HDFS概述目录 HDFS产生背景 HDFS概念 HDFS优缺点 HDFS组成架构 1. HDFS产生背景随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操 ...
Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件命令行 Java API HD ...
Spring boot项目整合Hadoop的HDFS
由于最近需要使用Spring boot整合Hadoop的HDFS,但是在整合的过程遇到了很多问题,网上也没有现成教程,都是自己摸索出来的,配置了很久都没能把项目搭建出来,希望对大家有帮助. 使用Spr ...
Hadoop点滴-HDFS命令行接口
1.-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls1 2.-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ...
Hadoop基础-Hdfs各个组件的运行原理介绍
Hadoop基础-Hdfs各个组件的运行原理介绍作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.NameNode工作原理(默认端口号:50070) 1>.什么是NameN ...

Hadoop之HDFS的使用

目录

HDFS介绍

HDFS基础操作

Java操作HDFS

Hadoop之HDFS的使用相关推荐

最新文章

热门文章