HDFS常用命令总结

在HDFS中所有的Hadoop命令均由bin/hadoop脚本引出，不指定参数运行Hadoop脚本会打印出所有命令的描述。这篇博文总结一下常用的HDFS命令的操作。

一、version命令

version命令可以打印Hadoop版本的详细信息。

$ hadoop version

二、dfsadmin命令

dfsadmin命令可以查看集群存储空间使用情况和各节点存储空间使用情况。

# hadoop dfsadmin -report

三、jar命令

jar命令是运行jar包文件命令。用户可以把他们的MapReduce代码捆绑到jar文件中，使用jar命令使程序运行起来。

hadoop jar <jar> [mainClass]

<jar>：jar包

[mainClass]：可选选项，指定运行主类

eg：使用"hadoop jar"命令在Hadoop集群中运行WordCount.jar程序，示例如下：

# hadoop jar WordCount.jar

四、fs命令

fs参数是运行通用文件系统参数，在Hadoop后面跟上fs参数，表示是对HDFS中的文件进行操作。

hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

GENERIC_OPTIONS：通用选项

COMMAND_OPTIONS：命令选项

fs常用的基本选项如下：

1. mkdir

mkdir命令可以在HDFS中创建新目录，但它只能创建一级目录。创建多级目录上一级目录必须先存在，或是使用-p参数。

hadoop fs -mkdir <paths>

eg1：使用mkdir命令在HDFS中分别在input目录下创建一个file2目录、在output目录下也创建一个file2目录

hadoop fs -mkdir /input/file2 /output/file2

eg2：使用mkdir命令在HDFS中创建一个多级目录/file/file1/file2/file3

hadoop fs -mkdir -p /file/file1/file2/file3

2. touchz

touchz命令可以在HDFS中创建一个0字节的空文件。

hadoop fs -touchz <hdfs:newFile>

3. du & dus & ls & lsr

du命令是显示文件或文件夹属性的命令，可以显示（多个）指定文件、（多个）指定目录中所有文件的大小。

dus命令可以显示指定（多个）文件目录的大小。

ls命令可以在HDFS中显示指定文件的详细内容。如果是目录，则返回它直接子文件的列表。详细内容包括：权限、用户、文件所在组、文件大小、创建日期和路径等信息。

lsr命令是ls -R简写，是用来递归显示HDFS中指定目录下的所有子文件的详细信息。

hadoop fs -du <hdfs:pathDirectory>

hadoop fs -dus <hdfs:pathDirectory>

hadoop fs -ls <hdfs:pathDirectory>

hadoop fs -lsr <hdfs:pathDirectory>

4. cat

cat命令可以在HDFS中查看指定文件或指定文件夹下所有文件内容。

hadoop fs -cat <hdfs:pathfile>

eg：查看HDFS中input目录下所有文件内容

hadoop fs -cat /input/*

注：/input/*中的*表示input目录下的所有文件，/input/part*中的*指的是input目录下所有以part开始的文件。

5. put & get & getmerge

put命令可以从本地文件系统中复制单个或多个源路径到目标文件系统。HDFS中接收文件的目录必须事先存在。

get命令从HDFS中复制指定文件、指定多个文件或指定目录下所有文件，到本地文件目录。在执行get之前，本地文件目录必须事先存在，get是一种常用的下载命令。

getmerge命令将HDFS中指定目录下的所有文件加载到本地中。如果文件名不存在将在本地新创建文件，如果文件名存在，则覆盖文件内所有内容。

hadoop fs -put <local:pathFile> [local:pathFile] <hdfs:pathDirectory>

hadoop fs -get <hdfs:pathFile> <local:pathDirectory>

hadoop fs -getmerge <hdfs:pathDirectory> <hdfs:pathFile>

eg1：从本地上传city_data文件和monitor_data文件到HDFS的test目录中

hadoop fs -put city_data monitor_data /test

eg2：在HDFS中复制input目录下的word_count文件到本地file目录中

hadoop fs -get /input/word_count ~/file

6. copyFromLocal & copyToLocal

二者和put/get命令很像，但是copyFromLocal是将本地文件上传到HDFS中(源地址必须是本地文件地址)，copyToLocal是将HDFS中的文件下载到本地(源路径只能是一个本地文件，get的源路径可能是多个文件，也可能是标准输入)。

hadoop fs -copyFromLocal <local:pathFile> <hdfs:pathDirectory>

hadoop fs -copyToLocal <hdfs:pathFile> <local:pathDirectory>

7. cp

cp(copy)命令可以将HDFS中的指定文件复制到HDFS中目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

hadoop fs -cp <hdfs:pathFile> <hdfs:pathDirectory>

8. mv & rm & rmr

mv命令可以在HDFS中将文件从源路径移动到目标路径，这个命令允许有多个源路径，此时目标路径必须是一个目录。

rm命令用于删除一个指定的文件或多个指定的文件的命令，加上“-r”参数可以删除指定目录。

rmr命令等价于rm -r命令，可以删除目录或递归删除子文件，如果使用-rmr命令删除一个目录时，不管目录下是否有其他文件，均将一并删除。

hadoop fs -mv <hdfs:sourcepath> [hdfs:sourcepath...] <hdfs:targetpath>

hadoop fs -rm <hdfs:pathFile> [hdfs:pathFile]

hadoop fs -rmr <hdfs:pathDirectory> [hdfs:pathDirectory]

eg1：将HDFS中的/input/major文件移动到/file/file1/file2中

hadoop fs -mv /input/major /file/file1/file2

eg2：hadoop fs -rm /test/city_data /test/monitor_data

eg3：hadoop fs -rmr /test /file

9. tail

tail命令可以将文件尾部1KB的内容输出到标准输出。并且tail命令支持“-f”选项，加上“-f”选项表示实时显示文件内容。

hadoop fs -tail [-f] <hdfs:pathFile>

10. text

text命令可以将HDFS中的源文件以文本格式输出。

hadoop fs -text <hdfs:pathFile>

11. expunge

expunge命令的字面意思是“清除”，它在Hadoop中的作用是清空回收站。

hadoop fs -expunge

以上是常用的HDFS命令的总结，除此之外，还可以使用Java API对HDFS中的文件进行操作，等我学完后再做补充。

HDFS常用命令总结相关推荐

java向hdfs提交命令_Java语言操作HDFS常用命令测试代码
本文主要向大家介绍了Java语言操作HDFS常用命令测试代码,通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. package com.yxc.hdfs; import org.apac ...
HDFS常用命令的学习
HDFS常用命令的学习文章目录 HDFS常用命令的学习 1. hadoop fs,hadoop dfs,hdfs fs,hdfs dfs 区别 2. Hadoop 命令 3. HDFS 常用命令命 ...
HDFS常用命令汇总
HDFS常用命令汇总一.前言信息二.帮助信息查看 1.查看帮助信息 2.帮助文档(附带命令的详细说明) 三.常用命令 1.创建目录 2.查看目录下的内容 3.上传文件 4.上传并删除源文件 5.查 ...
HDFS常用命令hdfs dfs
1.hdfs dfs.hadoop fs.hadoop dfs三个命令的区别在介绍命令之前,首先要知道hdfs dfs.hadoop fs.hadoop dfs三个命令的区别. hadoop fs: ...
熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...
HDFS文件系统(含hdfs常用命令，java对hdfs API的简单操作)
HDFS文件系统 HDFS概念什么是HDFS HDFS的组成 HDFS文件块大小 HFDS命令行操作基本语法常用命令 Java操作hdfs 配置编译环境获取文件系统上传文件文件下载目录创 ...
Hadoop HDFS常用命令
在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作.利用这些命令可以完成HDFS中文档的上传.下载.复制.查看文件信息.格式化名称节点等操作.关于HDFS的Shell命令有一个统 ...
hadoop学习笔记（四）：hdfs常用命令
一.hadoop fs 1.创建目录 [root@master hadoop-2.7.0]# hadoop fs -mkdir /testdir1 [root@master hadoop-2.7.0] ...
Hadoop Shell命令-hdfs常用命令
Hadoop Shell命令-hdfs Hadoop Shell命令 cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge ...
分布式文件系统HDFS常用命令
1:查看所有命令 hdfs dfs 2:查看目录下的文件列表 hdfs dfs -ls / 3:查看某文本文件的内容 hdfs dfs -cat /tmp/yy.txt 4:创建目录 hdfs dfs ...

HDFS常用命令总结

HDFS常用命令总结相关推荐

最新文章

热门文章