文章目录

一、实验目的
二、实验内容
三、实验原理
四、实验环境
五、实验步骤
- 5.1 启动服务HDFS服务
- 5.2 查看hdfs shell帮助命令
- 5.3 使用shell命令创建和查看目录
- 5.4 使用shell命令上传文件和文件夹
- 5.5 使用shell命令下载文件和文件夹
- 5.6 使用shell命令重命名文件和文件夹
- 5.7 使用shell命令移动文件和文件夹
- 5.8 使用shell命令删除文件和文件夹

一、实验目的

熟练掌握HDFS Shell的常用操作命令

二、实验内容

1、查看hdfs shell帮助命令
2、使用shell命令创建和查看目录
3、使用shell命令上传文件和文件夹
4、使用shell命令下载文件和文件夹
5、使用shell命令重命名文件和文件夹
6、使用shell命令移动文件和文件夹
7、使用shell命令删除文件和文件夹

三、实验原理

搭建好Hadoop3环境之后，可以使用HDFS shell命令对HDFS文件系统进行操作。

调用文件系统(HDFS）shell命令应使用bin/hdfs dfs 的形式。
所有的HDFS shell命令使用URI路径作为参数。URI格式是scheme: //authority/path。HDFS的scheme是HDFS，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。

四、实验环境

硬件:Ubuntu16.04
软件:JDK-1.8、Hadoop-3.3
数据存放路径：/data/dataset
tar包路径：/data/software
tar包压缩路径：/data/bigdata
软件安装路径:/opt
实验设计创建文件：/data/resource

五、实验步骤

5.1 启动服务HDFS服务

$ cd /opt/hadoop-3.3.0/sbin/
$ ./start-dfs.sh

查看HDFS的守护进程，如下图所示：

$ jps

如果看到如下进程，说明HDFS服务已经正确启动。

657 SecondaryNameNode
935 Jps
232 NameNode
380 DataNode

5.2 查看hdfs shell帮助命令

注意：需要在配置文件/etc/profile文件中打开hadoop3的相关环境变量设置。

1、在终端窗口中，执行以下命令，查看hdfs shell帮助信息：

$ hdfs dfs -help

会列出所有的HDFS文件系统操作的命令，以及每个命令的用法。

2、可以进一步查询某个命令的具体使用方法。例如，要查看”ls”命令的用法，在终端窗口执行如下命令：

$ hdfs dfs -help ls

窗口中会给出”ls”这个命令的具体用法说明

3、例如，要查看”get”和”put”两个命令的用法，在终端窗口执行如下命令：

$ hdfs dfs -help get put

窗口中会给出”ls”这个命令的具体用法说明

5.3 使用shell命令创建和查看目录

1、查看HDFS文件系统的根目录。在终端窗口中，执行如下命令：

hdfs dfs -ls /

2、查看HDFS文件系统的用户主目录。在终端窗口中，执行如下命令：

$ hdfs dfs -ls

3、在HDFS文件系统的根目录下创建子目录data。在终端窗口中，执行如下命令：

$ hdfs dfs -mkdir /data

然后查看HDFS文件系统的根目录和/data/目录：

$ hdfs dfs -ls /
$ hdfs dfs -ls /data

4、在HDFS文件系统的”/data”目录下创建嵌套子目录”hadoop/mr”，需要使用参数”-p”。在终端窗口中，执行如下命令：

$ hdfs dfs -mkdir -p /data/hadoop/mr

然后查看HDFS文件系统的根目录和/data/目录：

$ hdfs dfs -ls /data
$ hdfs dfs -ls /data/hadoop
$ hdfs dfs -ls /data/hadoop/mr

5.4 使用shell命令上传文件和文件夹

1、首先在本地编辑一个文本文件。在终端窗口中，执行如下命令：

$ mkdir ~/hello
$ cd ~/hello
$ vi study.txt

编辑study.txt文本文件的内容如下：

day day up
to be or not to be
this is a question

2、将study.txt上传到HDFS上。在终端窗口中，执行如下命令：

$ hdfs dfs -put ~/hello/study.txt  /data/

使用如下命令查看上传到HDFS的文件：

$ hdfs dfs -ls /data/
$ hdfs dfs -cat /data/study.txt

3、将hello文件夹及其中的文件上传到HDFS上。在终端窗口中，执行如下命令：

$ hdfs dfs -put ~/hello  /data/

使用如下命令查看上传到HDFS的文件：

>$ hdfs dfs -ls /data/
$ hdfs dfs -ls /data/hello
$ hdfs dfs -cat /data/hello/study.txt

当内容过多的时候，只想查看前几条内容或者后几条内容时，操作命令如下：

$ hdfs dfs -cat /data/hello/study.txt|head -2

当内容过多的时候，只想查看最后1K的内容时，操作命令如下：

$ hdfs dfs -tail /data/hello/study.txt

5.5 使用shell命令下载文件和文件夹

也可以将HDFS上的文件或文件夹下载到本地文件系统。

1、在终端窗口，执行如下命令，将HDFS上的文件下载到本地，并改名：

$ hdfs dfs -get /data/study.txt ~/study2.txt

查看下载到本地的文件内容：

$ cat ~/study2.txt

2、在终端窗口，执行如下命令，将HDFS上的文件夹下载到本地，并改名：

$ hdfs dfs -get /data ~/

查看下载到本地的文件夹内容：

$ ls ~/data2

5.6 使用shell命令重命名文件和文件夹

可以在HDFS中对文件、文件夹重命名或移动。

1、将HDFS中的”/data/study.txt”重命名为”wc.txt”。在终端窗口中，执行如下命令：

$ hdfs dfs -mv /data/study.txt /data/wc.txt

查看重命名的文件，如下图所示：

$ hdfs dfs -ls /data/

2、将HDFS中的”/data/hadoop/mr”目录重命名为”mapreduce”。在终端窗口中，执行如下命令：

$ hdfs dfs -mkdir -p /data/hadoop/mr
$ hdfs dfs -mv /data/hadoop/mr /data/hadoop/mapreduce

查看重命名的目录：

$ hdfs dfs -ls /data/hadoop/

5.7 使用shell命令移动文件和文件夹

1、将HDFS上的”/data/wc.txt”文件移动到HDFS的根目录下：

 $ hdfs dfs -mv /data/wc.txt /

查看移动后的文件是否存在：

$ hdfs dfs -ls /

2、将HDFS上的”/data/hadoop”文件夹移动到HDFS的根目录下：

 $ hdfs dfs -mv /data/hadoop /

查看移动后的文件是否存在：

$ hdfs dfs -ls /

5.8 使用shell命令删除文件和文件夹

1、在终端窗口中，使用如下的命令，删除HDFS根目录下的”wc.txt”文件：

$ hdfs dfs -rm /wc.txt

查看是否删除文件，如下图所示：

$ hdfs dfs -ls /

2、在终端窗口中，使用如下的命令，删除HDFS根目录下的”hadoop”文件夹及其内容：

$ hdfs dfs -rm -r /hadoop

查看是否删除文件夹，如下图所示：

$ hdfs dfs -ls /

02Hadoop3分布式文件系统HDFS-01HDFS Shell文件操作相关推荐

Hadoop分布式文件系统hdfs的shell操作命令大全
hadoop fs -操作命令 -参数 -ls #显示目录信息 -->hadoop fs -ls hdfs://hadoop-server-00:9000/ 这些参数中,所有的hdfs路径都可以 ...
大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）
系列博客 1.大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机 2.大数据技术之Hadoop编译源码 3.大数据技术之Hadoop分布式文件系统HDFS系统知识整理(从入门 ...
大数据技术原理与应用（第三章分布式文件系统HDFS）
目录 3.1分布式文件系统HDFS简介计算机集群的基本架构分布式文件系统结构图 HDFS实现目标 HDFS自身局限性 3.2HDFS相关概念块的设计优势 HDFS两大组件--NameNode和D ...
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
大数据技术第三章-分布式文件系统HDFS
前言:马上期末考试了,瑟瑟发抖~ 总结了一些大数据技术原理和应用的知识点,如有错误,请求指正~ 大数据技术原理与应用期末复习前两章知识点 1.HDFS集群采用主从结构,节点主要包括名称节点和数据节点 ...
大数据技术基础笔记3 分布式文件系统HDFS
文章目录 3.1 分布式文件系统 3.2 HDFS简介 3.3 HDFS相关概念 3.4 HDFS体系结构 3.5 HDFS存储原理 3.6 HDFS数据读写过程 3.7 HDFS编程实践 3.1 分 ...
3分布式文件系统HDFS
3.1分布式文件系统 3.1.1计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群. 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的 ...
实验二 HDFS的Shell命令操作，和HDFS的API操作
文章目录实验目的一. 实验原理二.实验准备实验内容步骤项目1 HDFS常见命令练习列出HDFS当前用户家目录下的文件及文件夹: 列出HDFS文件下名为directory的文件夹中的文件: ...
Hadoop 分布式文件系统 - HDFS
当数据集超过一个单独的物理计算机的存储能力时,便有必要将它分不到多个独立的计算机上.管理着跨计算机网络存储的文件系统称为分布式文件系统.Hadoop 的分布式文件系统称为 HDFS,它是为以流式数 ...

02Hadoop3分布式文件系统HDFS-01HDFS Shell文件操作