Hadoop HDFS常用命令

在Linux命令行终端，我们可以利用Shell命令对Hadoop进行操作。利用这些命令可以完成HDFS中文档的上传、下载、复制、查看文件信息、格式化名称节点等操作。关于HDFS的Shell命令有一个统的格式。

hadoop command [genericOptions] [commandoptions]

HDFS有很多命令，其中fs命令可以说是HDFS最常用的命令，利用fs命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。该命令的用法如下。

hadoop fs [genericoptions] [commandoptions ]

具体如下。

hadoop fs -Is < path >。显示< path >指定的文件的详细信息。
hadoop fs -ls -R < path >。Is 命令的递归版本。
hadoop fs -cat < path >。将< path >指定的文件的内容输出到标准输出( stdout )。
hadoop fs -chgrp [-R] group < path >。将< path >指定的文件所属的组改为group,使用-R对< path >指定的文件夹内的文件进行递归操作。这个命令只适用于超级用户。
hadoop fs -chown [-R] [owner] [: [group]] < path >。改变< path >指定的文件的拥有者，-R用于递归改变文件夹内的文件的拥有者。这个命令只适用于超级用户。
hadoop fs -chmod [-R] < mode >< path >。将< path >指定的文件的权限更改为< mode >。这个命令只适用于超级用户和文件的所有者。
hadoop fs -tail [-f] < path >。将< path >指定的文件最后1KB的内容输出到标准输出( stdout)上，-f选项用于持续检测新添加到文件中的内容。
hadoop fs -stat [format] < path >。以指定的格式返回< path >指定的文件的相关信息。当不指定formnat的时候，返回文件< path >的创建日期。
hadoop fs -touchz < path >。创建一个< path >指定的空文件。
hadoop fs -mkdir [-p] < paths >。创建< paths >指定的一个或多个文件夹，-p 选项用于递归创建子文件夹。
hadoop fs -copyFromlLocal < localsrc >< dst >。将本地源文件< localsrc >复制到路径< dst >指定的文件或文件夹中。
hadoop fs -copyToLocal [-ignoreerc] [-crc] < target > < localdst >。将目标文件< target >复制到本地文件或文件夹< localdst >中，可用 -ignoreerc 选项复制CRC校验失败的文件，使用 -crc 选项复制文件以及CRC信息。
hadoop fs -cp < src >< dst >。将文件从源路径< src >复制到目标路径< dst >。
hadoop fs -du < path >。显示< path >指定的文件或文件夹中所有文件的大小。
hadoop fs -expunge。清空回收站，请参考HDFS官方文档以获取更多关于回收站特性的信息。
hadoop fs -get [-ignorecrc] [-crc] < src > < localdst >。复制< src >指定的文件到本地文件系统< localds t>指定的文件或文件夹，可用 -ignorecrc 选项复制CRC校验失败的文件，使用-crc 选项复制文件以及CRC信息。
hadoop fs -getmerge [-nl] < src > < localdst >。对< src >指定的源目录中的所有文件进行合并，写入< localdst >指定的本地文件。 -nl 是可选的，用于指定在每个文件结尾添加一个换行符。
hadoop fs -put < localsrc > < dst >。从本地文件系统中复制< localsrc >指定的单个或多个源文件到< dst>指定的目标文件系统中，也支持从标准输人( stdin )中读取输人写入目标文件系统。
hadoop fs -moveFromLocal < localsrc >< dst >。与 put 命令功能相同，但是文件上传结束后会从本地文件系统中删除< localsrc> 指定的文件。
hadoop fs -mv < src >< dest >。将文件从源路径< src >移动到目标路径< dst >。
hadoop fs -rm < path >。删除< path >指定的文件，只删除非空目录和文件。
hadoop fs -rm -r < path >。删除< path >指定的文件夹及其下的所有文件， -r 选项表示递归删除子目录。
hadoop fs -setrep [-R] < path >。改变< path >指定的文件的副本系数，-R 选项用于递归改变目录下所有文件的副本系数。
hadoop fs-test [ezd]< path >。检查< path >指定的文件或文件夹的相关信息。不同选项的作用如下。
- -e检查文件是否存在，如果存在则返回0,否则返回1。
- -z检查文件是否是0字节，如果是则返回0,否则返回1。
- -d如果路径是个目录，则返回1,否则返回0。
hadoop fs -text < path >。将< path > 指定的文件输出为文本格式，文件的格式允许是 zip 和 TextRecordInputStream 等。

Hadoop HDFS常用命令相关推荐

java向hdfs提交命令_Java语言操作HDFS常用命令测试代码
本文主要向大家介绍了Java语言操作HDFS常用命令测试代码,通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. package com.yxc.hdfs; import org.apac ...
HDFS常用命令的学习
HDFS常用命令的学习文章目录 HDFS常用命令的学习 1. hadoop fs,hadoop dfs,hdfs fs,hdfs dfs 区别 2. Hadoop 命令 3. HDFS 常用命令命 ...
HDFS常用命令汇总
HDFS常用命令汇总一.前言信息二.帮助信息查看 1.查看帮助信息 2.帮助文档(附带命令的详细说明) 三.常用命令 1.创建目录 2.查看目录下的内容 3.上传文件 4.上传并删除源文件 5.查 ...
【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录前言一.hadoop fs常用命令参数列表二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...
Hadoop Yarn常用命令
文章目录 Hadoop Yarn常用命令 1 查看任务 1.1 yarn application -list 1.2 yarn application -list -appStates 1.3 kil ...
hadoop fs常用命令
hadoop fs -help 当执行-help命令后,可以列出所有命令帮助信息查看某一命令的帮助信息可在-help后面跟上所要查询的命令,以cat命令为例: hadoop fs -help cat ...
Hadoop fs 常用命令
操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样. Hadoop启动: start-all.sh 等价于 start-dfs.sh + start-yarn.s ...
HDFS常用命令hdfs dfs
1.hdfs dfs.hadoop fs.hadoop dfs三个命令的区别在介绍命令之前,首先要知道hdfs dfs.hadoop fs.hadoop dfs三个命令的区别. hadoop fs: ...
熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...

Hadoop HDFS常用命令

Hadoop HDFS常用命令相关推荐

最新文章

热门文章