常用的HDFS Shell命令

大多数HDFS Shell命令的行为和对应的Unix Shell命令类似，主要不同之处是HDFS Shell 命令操作的是远程Hadoop服务器的文件，而Unix Shell命令操作的是本地文件。

命令	功能
-help [cmd]	显示命令的帮助信息
-ls( r )	显示当前目录下的所有文件
-du( s )	显示目录中所有文件的大小
-count [-q]	显示目录中文件数量
-mv	移动多个文件到目标目录
-cp	复制多个文件到目标目录
-rm( r )	删除文件(夹)
-put	本地文件复制到hdfs
-copyFromLocal	与put相同
-moveFromLocal	本地文件移动到hdfs
-get[-ignoreCrc]	复制文件到本地，可忽略crc校验
-getmerge	将源目录中的所有文件排序合并到一个文件中
-cat	在终端显示文件内容
-text	在终端显示文件内容
-copyToLocal [-ignoreCrc]	复制到本地
-moveToLocal	移动到本地
-mkdir	创建文件夹
-touchz	创建一个空的文件

部分命令的具体使用方法：

1.mkdir 创建目录

使用方法：hadoop fs -mkdir path

接收路径指定的URI作为参数，创建这些目录。其行为类似于UNIX中的mkdir命令
第一种方式

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

第二种方式

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

2.put 上传文件

使用方法：hadoop fs -put localsrc ··· dst

从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读取输入写入到目标文件系统，成功返回0，失败返回-1

复制单个文件

hadoop fs -put localfile /user/hadoop/hadoopfile

复制多个文件

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

3.ls 列出文件

使用方法：hadoop fs -ls args

递归版本：hadoop fs -lsr args

#如果是文件，则按照如下的格式返回文件信息。

#文件名 <副本数> 文件大小修改日期修改时间权限用户ID 组ID

#如果是目录，则返回子文件的一个列表，就像UNIX中一样。格式如下：

#目录名 dir 修改日期修改时间权限用户ID 组ID

示例：

列出HDFS目录下名为‘input’的文件返回值：成功返回0 失败返回-1

hadoop fs -ls input

递归列出output下的子目录中的文件及目录信息

hadoop fs -ls output

列出HDFS下的文件

hadoop fs -ls

#注意：在HDFS中未带参数的“ls”命令没有返回值，它默认返回HDFS的“home”目录下的内容。在HDFS中，没有当前目录./这样的概念，也没有cd这个命令。

4.cat 将文件内容显示到stdout

使用方法：hadoop fs -cat URI [URI···]

显示input目录下的所有文件内容

hadoop fs -cat input/*

5.get 将hdfs文件复制到本地文件系统

使用方法：hadoop fs -get [-ignorecrc] [crc] src localsrc

-ignorecrc选项复制CRC¹校验失败的文件，使用-crc选项复制文件以及CRC信息。

hadoop fs -get ini IN1
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile

成功返回0.失败返回-1

6.rm 删除文件或非空目录

使用方法：hadoop fs rm URI [URI···]

删除指定非空目录dir

hadoop fs -rm /user/hadoop/dir

删除指定文件file

hadoop fs -rm /user/hadoop/file

hadoop fs -rmr /user/hadoop/file

7.chgrp 改变文件所属的组

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI···]

命令的使用者必须是文件的所有者或root用户

8.chmod 改变文件的权限

hadoop fs -chmod [-R] <MODE[,MODE]···|OCTALMODE> URI [URI···]

命令的使用者必须是文件的所有者或root用户

9.copyFromLocal 复制本地文件到hdfs，与put命令类似

使用方法：hadoop fs -copyFromLocal URI

10.copyToLocal 复制hdfs文件到本地，与get命令类似

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI

11.cp 复制文件

使用方法：hadoop fs -cp URI [URI···]

将文件从源路径复制到目标路径。允许有多个源路径，但此时目标路径必须是一个目录

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：成功返回0，失败返回-1

12.du 显示目录属性

使用方法：hadoop fs -du URI [URI···]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1
hdfs://host:port/user/hadoop/dir1

13.expunge 清空回收站

使用方法：hadoop fs -expunge

可参考HDFS设计文档以获取更多关于回收站特性的信息。

14.getmerge

使用方法：hadoop fs -getmerge [addnl]

将源目录中的所有文件排序合并到一个本地文件中。addnl是可选的，用于指定在每个文件结尾添加一个换行符

15.mv 移动文件

使用方法：hadoop fs -mv URI [URI···]

将文件从源路径移动到目标路径。这个命令允许有多个源路径，但此时目标路径必须是一个目录,。不允许在不同的文件系统移动文件

hadoop fs -mv /user/hadoop/file1 /user/hadoop/dir

16.setrep 改变一个文件的副本系数

使用方法：hadoop fs -setrep [-R] path

hadoop fs -setrep -w 3 -R /user/hadoop/dir

17.stat 返回指定路径的统计信息

使用方法：hadoop fs -stat path

18.tail 在stdout中输出文件尾部1KB的内容

使用方法：hadoop fs -tail pathname

包含返回值

19.test 检查文件或目录

使用方法：hadoop fs -test -[ezd] URI

选项说明：

-e：检查文件是否存在。存在返回0

-z：检查文件容量是否为0。是返回0

-d：检查目录是否存在。是返回1，否则返回0

hadoop fs -e filename

20.text 将源文件输出为文本格式

使用方法：hadoop fs -text src

允许的格式为：zip和TextRecordInputStream

21.touchz 创建一个空文件

使用方法：hadoop fs -touchz URI [URI···]

hadoop fs -touchz pathname

返回值：成功返回0，失败返回-1

Hadoop 系统管理命令

命令	功能
hadoop version	查看Hadoop版本
sbin/start-all.sh	启动Hadoop所有进程
sbin/stop-all.sh	停止Hadoop所有进程
bin/hadoop namenode -format	格式化一个新的分布式文件系统
sbin/start-dfs.sh	在分配的Namenode上，启动HDFS
sbin/stop-dfs.sh	在分配的Namenode上，停止HDFS
sbin/start-yarn.sh	启动yarn
sbin/stop-yarn.sh	停止yarn

Hadoop常用端口号

端口名称	Hadoop2.X	Hadoop3.X
NameNode 内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce 查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888

Web 端查看 HDFS 的 NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看 HDFS 上存储的数据信息

Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看 YARN 上运行的 Job 信息

Web 端查看 JobHistory

（a）浏览器中输入：
http://hadoop102:19888/jobhistory

HDFS客户端软件实现了对HDFS文件内容的校验和（checksum）检查。当客户端创建一个新的HDFS文件时，会计算这个文件每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存在同一个HDFS名字空间下。当用户读取文件内容时，会校验从Datanode获取的数据以及相应的校验和与文件中的检验和是否匹配，如果不匹配，客户端可以选择从其他的Datanode中获取该数据块的副本。 ↩︎