Hadoop常用命令集合

1、mkdir

创建文件夹；
使用方法

hadoop fs -mkdir /path               #创建单个文件夹
hadoop fs -mkdir -p /path           #递归创建多个文件夹

2、ls、lsr

查看文件或文件夹信息；
使用方法

hadoop fs -ls /path
hadoop fs -lsr /path                #递归查看文件或文件夹信息

3、 mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
使用方法

hadoop fs -mv /path /url         #前面是原路径，后面是目标路径

4、put、copyFromLocal

从本地文件系统中复制单个或多个源路径（空格分隔）到目标文件系统。也支持从标准输入中读取输入写入目标文件系统；
使用方法

hadoop fs -put /path/file /path          #前面是文件名，后面是文件需要上传到的目标路径
hadoop fs -copyFromLocal /path/file /path       #限定一个文件

5、rm、rmr

rm只能删除指定的文件。不能删除文件夹;
rmr递归删除文件夹，即可删除含有其他文件或文件夹的文件夹；
使用方法

hadoop fs -rm /path/file             #删除指定文件
hadoop fs -rmr /path/file               #递归删除

6、tail

将文件尾部1K字节的内容输出到stdout；
使用方法

hadoop fs -tail [-f] /path/file

7、test

-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。
使用方法

hadoop fs -test -e /path/file
hadoop fs -test -z /path/file
hadoop fs -test -d /path/file

8、text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream；
使用方法

hadoop fs -text /path

9、touchz

创建一个0字节的空文件。
使用方法

hadoop -touchz file

10、cat

输出指定文件的内容；
使用方法

hadoop fs -cat /path/file

11、chgrp

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
使用方法

hadoop fs -chgrp [-R] group /path

12、chmod

改变文件的权限。使用 -R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户；
使用方法

hadoop fs -chmod [-R] ugo+rwx /path

13、chown

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户；
使用方法

hadoop fs -chown [-R] [OWNER][:[GROUP]] /path

14、get、copyToLocal

复制文件到本地文件系统。可用-ignorecrc选项复制 CRC 校验失败的文件。使用-crc选项复制文件以及 CRC 信息

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>          #前面是hdfs中的路径，后面是本机路径
hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>         #限制一次一个文件

15、getmerge

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。
使用方法

hadoop fs -getmerge <src> <localdst> [addnl]

16、cp

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录；
使用方法

hadoop fs -cp /path1 /path2              #前面是原路径，后面是目标路径

17、du、dus

查看文件大小；
使用方法

hadoop fs -du /path/file         #若是文件夹路径，则输出该文件夹中所有文件大小
hadoop fs -dus /path/file1 /path/file2          #查看多个文件大小

Hadoop常用命令集合相关推荐

Hadoop系列-Hadoop常用命令（五）
Hadoop 常用命令所有的 Hadoop 命令均由 bin/hadoop 脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] ...
数据包构造分析工具Hping3常用命令集合大学霸IT达人
数据包构造分析工具Hping3常用命令集合大学霸IT达人 Hping是一个命令行下使用的TCPIP数据包组装分析工具.该工具的命令模式很像Unix下的ping命令.它不止能发送ICMP回应请求,还支持 ...
基于ARP的网络扫描工具netdiscover常用命令集合大学霸IT达人
基于ARP的网络扫描工具netdiscover常用命令集合大学霸IT达人 ARP是将IP地址转化物理地址的网络协议.通过该协议,可以判断某个IP地址是否被使用,从而发现网络中存活的主机.netdisc ...
批量探测工具fpingping常用命令集合大学霸IT达人
批量探测工具fpingping常用命令集合大学霸IT达人批量探测工具fpingping是各个系统自带的基于ICMP协议的主机探测工具.但该工具一次只能检测一个主机,不满足渗透测试批量探测的需要.fp ...
ARP探测目标工具arping常用命令集合大学霸IT达人
ARP探测目标工具arping常用命令集合大学霸IT达人 ARP协议是一种将IP地址转化物理地址的协议.通过ARP请求包和响应包,可以判断一个IP地址是否在使用.同理,通过该协议可以探测局域网主机是否 ...
ARP监控工具ARPalert常用命令集合大学霸IT达人
ARP监控工具ARPalert常用命令集合大学霸IT达人 ARP协议用于IP转化为MAC地址.由于ARP协议的缺陷,导致被用于中间人攻击.ARPalert是一款专用的ARP监控工具.该工具可以对网络中 ...
SSL_TLS快速扫描器SSLScan常用命令集合大学霸IT达人
SSL_TLS快速扫描器SSLScan常用命令集合大学霸IT达人 SSLScan是一个SSL/TLS快速扫描器,可自动识别SSL配置错误.过期协议.过时Chipher Suite和Hash算法等.默认 ...
Wifitap是一个WiFi注入工具集常用命令集合大学霸IT达人
Wifitap是一个WiFi注入工具集常用命令集合大学霸IT达人该工具集允许任何应用程序都可以发送和接收IP数据包,使用802.11流量捕获和注入,并通过WiFi网络简单配置接口wj0.Wifita ...
无线密码离线破解工具Pyrit常用命令集合大学霸IT达人
无线密码离线破解工具Pyrit常用命令集合大学霸IT达人 Pyrit是一款可以使用GPU加速的无线密码离线破解工具.该工具提供了大量的命令,可以用来实现不同的功能.使用Pyrit工具中的命令,可以通过 ...

Hadoop常用命令集合

Hadoop常用命令集合相关推荐

最新文章

热门文章