基本语法

hadoop fs 和 hdfs dfs （hadoop fs和hdfs dfs命令等效。）

- hdfs dfs 只能操作HDFS文件系统

- hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广

[root@hadoop102 hadoop-3.1.3]$ bin/hadoop fs[-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] <localsrc> ... <dst>][-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-count [-q] <path> ...][-cp [-f] [-p] <src> ... <dst>][-df [-h] [<path> ...]][-du [-s] [-h] <path> ...][-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-getmerge [-nl] <src> <localdst>][-help [cmd ...]][-ls [-d] [-h] [-R] [<path> ...]][-mkdir [-p] <path> ...][-moveFromLocal <localsrc> ... <dst>][-moveToLocal <src> <localdst>][-mv <src> ... <dst>][-put [-f] [-p] <localsrc> ... <dst>][-rm [-f] [-r|-R] [-skipTrash] <src> ...][-rmdir [--ignore-fail-on-non-empty] <dir> ...]
<acl_spec> <path>]][-setrep [-R] [-w] <rep> <path> ...][-stat [format] <path> ...][-tail [-f] <file>][-test -[defsz] <path>][-text [-ignoreCrc] <src> ...]

一、上传

1.-moveFromLocal 从本地剪切粘贴到HDFS

2.-copyFromLocal 从本地文件系统拷贝文件到HDFS

3.-put：等同于copyFromLocal，生产环境更习惯用put

4.-appendToFile：追加一个文件到已经存在的文件末尾

二、下载

1.-copyToLocal：从HDFS拷贝到本地

2.-get：等同于copyToLocal，生产环境更习惯用get

三、其他增删改查操作

3.1 增

1.-mkdir：创建路径

3.2 删

1.-rm：删除文件或文件夹

2.-rm -r：递归删除目录及目录里面内容（非空目录）

3.-rmdir：只能删除空目录

3.3 改

1.-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

2.-cp：从HDFS的一个路径拷贝到HDFS的另一个路径（注意区别-put）

3.-mv：在HDFS目录中移动文件（注意区别-get）

4.-setrep：设置HDFS中文件的副本数量

hadoop fs -setrep 副本数量 <path>

3.4 查

1.-ls: 显示目录信息

2.-cat：显示文件内容

3.-tail：显示一个文件的末尾1kb的数据（一般用于查看日志）

4.-df：统计文件系统的容量、可用空间和已用空间信息

5.-du：统计文件夹的大小信息

hadoop fs -df [-h] <path>

6.-count：命令用于统计指定目录下的目录数、文件数、字节数

hadoop fs -count [-h] <path> (-h 参数使用便于操作人员读取单位信息格式)

Hadoop命令大全相关推荐

大数据测试之hadoop命令大全 2
31.获取或设置每个守护进程的日志级别(daemonlog). 用法:hadoop daemonlog -getlevel <host:port> <name> 用法:hado ...
linux中hadoop命令大全,hadoop常用命令
启动Hadoop 进入HADOOP_HOME目录. 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录. 执行sh bin/stop-all.sh 1.查看指 ...
linux 查看hadoop命令大全,linux下hadoop集群常用命令
1.上传文件 1)hadoop fs -put words.txt /path/to/input/ 2)hdfs dfs -put words.txt /path/wc/input/ 2.获取hdfs ...
hadoop命令大全(完整)
hdfs常用命令: 文章目录 1. hdfs文件系统命令 1.1 文件路径增删改查系列: 1.2 空间大小查看系列命令: 1.3 权限管理类: 1.4 文件操作(上传下载复制)系列: 1.5 判断系列 ...
Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...
005__Hadoop常用命令大全
Hadoop常用命令大全版权声明:本文为CSDN博主「InceptionZ」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.c ...
Linux命令大全（排版清晰！！持续更新！！非常详细）
前言最近在使用Linux的时候,发现有很多命令不太会.在csdn查阅命令大全的时候,发现很多文章都没有很好的排版,于是写一篇文章,希望能够帮助到大家!文章内容较多,可以在右侧目录直接找自己需要的部分 ...
HDFS系列(3) | HDFS的Shell常用命令大全
此次更新的的博文是关于HDFS的shell的常用命令,希望大家能够喜欢目录一. 基本语法二. 命令大全三. 常用命令实操 1. 常用命令及其作用对比表 2. 常用命令的实际操作一. 基本语法 ...
DOS命令大全黑客必知的DOS命令集合
一般来说dos命令都是在dos程序中进行的,如果电脑中安装有dos程序可以从开机选项中选择进入,在windows 系统中我们还可以从开始运行中输入cmd命令进入操作系统中的dos命令,如下图: 严格的 ...

Hadoop命令大全