hadoop fs 命令大全（解析和例子）

hadoop fs [generic options]
hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录
---------------------------------------------------------------------------------------
[-appendToFile <localsrc> ... <dst>]
将本地文件的内容追加到给定的dst文件。
hadoop fs -appendToFile <localsrc> <dst>
---------------------------------------------------------------------------------------
[-cat [-ignoreCrc] <src> ...]
用控制台查看文件内容，

hadoop fs -cat -ignoreCrc /tmp/luan/test1.txt

---------------------------------------------------------------------------------------
[-checksum <src> ...]
将<src>的文件校验和信息转储到标准输出。

hadoop fs -checksum /tmp/luan/test1.txt

MD5-of-0MD5-of-512CRC32C 00000200000000000000000083e021bffeef941323d094d386551844
-----------------------------------------------------------------------------------------
[-chgrp [-R] GROUP PATH...]
hadoop fs -chgrp [-R] GROUP URI [URI …]
改变文件所属的组。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
----------------------------------------------------------------------------
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

hadoop fs -chmod 755 /tmp/luan/test1.txt

改变文件的权限。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
----------------------------------------------------------------------------------
[-chown [-R] [OWNER][:[GROUP]] PATH...]

hadoop fs -chown [-R] hadoop:hadoop /tmp/luan/test1.txt

改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是超级用户。
----------------------------------------------------------------------------------
[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
从本地系统拷贝文件到 HDFS。

hadoop fs -copyFromLocal /hadoop/test1.txt  /tmp/luan
-p  保留访问和修改时间，所有权和模式
-f  如果目标已经存在，则覆盖目标。
-t <thread count> 要使用的线程数，默认为1。
-l 允许DataNode将文件延迟持久化到磁盘。复制因子为1。
-d 跳过临时文件的创建

----------------------------------------------------------
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
从 HDFS 拷贝文件到本地文件系统，文件匹配 pattern，若是多个文件，则 dst 必须是目录
hadoop fs –copyToLocal <localsrc> … <dst>
-----------------------------------------------------------------------------------------------
统计文件(夹)数量
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]

hadoop fs -count /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit

-q 显示详细的配额和对配额的使用
hadoop fs -count -q /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- none inf none inf 1 11 610568088 /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 大小以M显示
hadoop fs -count -h /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-v 显示标题行。
hadoop fs -count -v /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-t 选项显示按存储类型划分的配额。它应该与-q或-u选项一起使用，否则它将被忽略。
hadoop fs -count -t /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-u 选项显示配额和对配额的使用
hadoop fs -count -u /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- none inf none inf /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-x 选项将不计算快照
hadoop fs -count -x /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-e 显示擦除编码策略。
hadoop fs -count -e /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-- 1 11 610568088 EC: /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-------------------------------------------------------------------------------------------------
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]

hadoop fs -cp /tmp/luan/test1.txt /tmp/luantest

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。
-p 保留访问和修改时间，所有权和模式
-f 如果目标已经存在，则覆盖目标。
-d 跳过临时文件的创建
----------------------------------------------------------------------------------------------
[-createSnapshot <snapshotDir> [<snapshotName>]]
在目录上创建快照
hadoop fs -createSnapshot <snapshotDir> test1
[-deleteSnapshot <snapshotDir> <snapshotName>]
删除目录下的快照
hadoop fs -createSnapshot <snapshotDir> test1
[-renameSnapshot <snapshotDir> <oldName> <newName>]
将快照从oldName重命名为newName
hadoop fs -renameSnapshot <snapshotDir> <oldName> <newName>
-------------------------------------------------------------------------
[-df [-h] [<path> ...]]
显示文件系统的容量、空闲空间和已用空间。如果文件系统有多个分区，
并且没有指定到特定分区的路径根分区的状态将会显示出来。
hadoop fs -df /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 转化为M为单位
hadoop fs -df -h
hdfs://nameservice1 17.1 T 12.6 T 3.6 T 73%
---------------------------------------------------------------------------
查看文件所占空间大小
-du [-s] [-h] [-v] [-x] <path> ..
原始命令
hadoop fs -du /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-s 目录下所有文件总和大小
hadoop fs -du -s /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-h 转化为M为单位
hadoop fs -du -h /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-v 增加字段目录
hadoop fs -du -v /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-x 不统计快照。
hadoop fs -du -x /user/hive/warehouse/mdp.db/mdp_cusdm_insu_profit
-------------------------------------------------
[-expunge]
从垃圾中删除比保留阈值更老的文件
hadoop fs -expunge
--------------------------------------------------------------------------------------------------
[-find <path> ... <expression> ...]
hadoop fs -find /tmp/luan test
查找与指定表达式和匹配的所有文件，将选定的操作应用于它们。
如果没有指定</path>然后默认为当前工作目录。
如果没有表达式，则默认为-print。
--------------------------------------------------------------------------------------------------
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
从 DFS 拷贝文件到本地文件系统，文件匹配 pattern，若是多个文件，则 dst 必须是目录。
hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>：
-f       如果目标已经存在，则覆盖目标
hadoop fs –get -f <src> <localdst>：
-p       保留访问和修改时间、所有权和方式。
hadoop fs –get -p <src> <localdst>：
----------------------------------------------------------------------
[-getfacl [-R] <path>]
显示文件和目录的访问控制列表，如果一个目录中有默认的ACL，那么getfacl也显示默认的ACL。
-R 递归列出所有文件和目录的acl。
hadoop fs -getfacl -R /tmp/luan
ACL：访问控制列表
--------------------------------------------------------------------------------
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
设置文件和目录的访问控制列表。

hadoop fs -setfattr -n hadoop -v 755 /tmp/luan/test.txt
----------------------------------------------------------------------
[-getfattr [-R] {-n name | -d} [-e en] <path>]
显示文件的扩展属性名称和值(如果有的话)
hadoop fs -getfattr -d /tmp/luan/test1.txt

-R 递归列出所有文件和目录的属性。
-n name 指定扩展属性名称
-d 指定扩展属性值
-e <encoding> 指定扩展属性编码 eg："text","hex", and "base64".
---------------------------------------------------------------------------------------
[-setfattr {-n name [-v value] | -x name} <path>]
设置文件或目录的扩展属性名称和值。
hadoop fs -setfattr -n "user.test" -v f1000 /tmp/luan/test1.txt
-n name   name扩展属性名称。
hadoop fs -setfattr -n name /tmp/luan/test.txt
-v value 如果参数用双引号括起来，
那么这个值就是引号内的字符串。如果参数是
前缀为0x或0x，则将其作为十六进制数。如果
参数以0或0s开头，然后将其作为base64
编码。
hadoop fs -setfattr -v value /tmp/luan/test.txt
-x name 移除扩展属性。

----------------------------------------------------------------------
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
hadoop fs –getmerge <src> <localdst>：顾名思义，从 DFS 拷贝多个文件、合并排序
-nl 在每个文件末尾添加一个换行符。
-skip-empty-file 不为空文件添加新行字符。
----------------------------------------------------------------------
[-help [cmd ...]]
hadoop fs -help
-------------------------------------------------
查看目录：hadoop fs -ls /
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
hadoop fs -ls /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
[-C] C只显示文件和目录的路径。
hadoop fs -ls -C /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-d 目录以普通文件的形式列出。
hadoop fs -ls -d /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-h 大小以M显示
hadoop fs -ls -h /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-q 去掉不可打印字符
hadoop fs -ls -q /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-R 递归，显示当前目录下包含的子目录中的文件
hadoop fs -ls -R /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-t 根据修改时间排序文件(最近的第一个)。
hadoop fs -ls -t /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-S 文件由大到小排列
hadoop fs -ls -S /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-r 按文件序号倒排，倒序排序。
hadoop fs -ls -r /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-u 时间为最近一次访问时间
hadoop fs -ls -u /user/hive/warehouse/dw.db/dw_zssys_web_fin_cav_ridoc
-e 显示文件和目录的擦除编码策略
hadoop fs -ls -e /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
-------------------------------------------------------------------------------------
[-mkdir [-p] <path> ...]
-p参数可以根据需要创建缺失的父目录。
hadoop fs -mkdir /luuu
hadoop fs -mkdir -p tmp/luan/ru
-------------------------------------------------------------------------------------
[-moveFromLocal <localsrc> ... <dst>]
从本地系统剪切文件到 HDFS。
hadoop fs –moveFromLocal <localsrc> … <dst>：
---------------------------------------------------------
[-moveToLocal <src> <localdst>]
从HDFS剪切文件到本地系统。
hadoop fs –moveToLocal <src> <localdst>
-------------------------------------------------------------
[-mv <src> ... <dst>]
将匹配指定文件模式<src>的文件移动到目标<dst>。</dst></src>
当移动多个文件时，目标必须是一个目录。
hadoop fs –mv <src> ... <dst>：
---------------------------------------------------------------------------------------
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
将本地文件系统中的文件复制到fs中。如果文件已经存在，复制将失败
hadoop fs –put <localsrc> … <dst>：
-p 保留访问和修改时间，所有权和模式。
-f 如果目标已经存在，则覆盖目标。
-l 允许DataNode将文件延迟持久化到磁盘。
-d 跳过临时文件的创建
---------------------------------------------------------------------------------------

---------------------------------------------------------------
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
hadoop fs -rm -rR /tmp/luan/   递归删除文件目录及文件
hadoop fs -rm -f /tmp/luan/   删除文件文件,不能删除目录
-skipTrash 选项如果启用，将绕过垃圾，并立即删除
hadoop fs -rm -skipTrash /tmp/luan/
-safely 选项需要安全确认
hadoop fs -rm -safely /tmp/luan/
---------------------------------------------------------------------
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
移除由每个目录参数指定的目录项，前提是它是空的。
hadoop fs -rmdir /tmp/luan/

---------------------------------------------------------------------------------------
[-setrep [-R] [-w] <rep> <path> ...]
设置文件的备份级别。如果是一个目录，则命令</path>递归地更改目录树下所有文件的复制因子
EC文件在这里将被忽略。
hadoop fs -setrep 3 /tmp/luan/test.txt
-w请求命令等待复制完成。这可能要花很长时间。
hadoop fs -setrep -w 3 /tmp/luan/test.txt
-R被接受为向后兼容。后台运行
hadoop fs -setrep -R 3 /tmp/luan/test.txt
--EC文件：EC文件格式是易语言的模块文件，易语言模块包括子程序、常量、自定义数据类型等，
--可以在程序中直接调用，但调用时必须遵守模块使用的要求，EC文件必须使用易语言才可以打开查看。
---------------------------------------------------------------------------------------
[-stat [format] <path> ...]
以指定格式,打印文件/目录在<路径>的统计信息
%A %a 权限
文件大小 (%b)，类型(%F)，所有者的组名称(%g)，
名称(%n)，块大小(%o)，复制(%r)，用户名
所有者(%u)，访问日期(%x， %X)。
修改日期(%y， %Y)。
%x和%y显示UTC日期为“yyyy-MM-dd HH:mm:ss”和
%X和%Y显示自1970年1月1日UTC以来的毫秒数。
如果没有指定格式，默认使用%y。
hadoop fs -stat %A /user/hive/warehouse/dw.db/dw_zsclm_c_loss_pro
---------------------------------------------------------------------------------------
[-tail [-f] <file>]
显示文件的最后1KB。
hadoop fs -tail /tmp/luan/test1.txt
-f 显示在文件增长时附加的数据。
hadoop fs -tail -f /tmp/luan/test1.txt
---------------------------------------------------------------------------------------
[-test -[defsz] <path>]
回答关于的各种问题，并通过退出状态给出结果。</path>
hadoop fs -test /tmp/luan/test.txt
-d如果是一个目录则返回0。</path>
hadoop fs -test -d /tmp/luan/test.txt
-e如果<路径>存在，返回0。
hadoop fs -test -e /tmp/luan/test1.txt
-f如果是一个文件则返回0。</path>
hadoop fs -test -f /tmp/luan/test.txt
-s如果文件<路径>的大小大于零字节则返回0。
hadoop fs -test -s /tmp/luan/test.txt
-w如果文件存在并且授予了写权限，则返回0。</path>
hadoop fs -test -w /tmp/luan/test.txt
-r如果文件存在并且授予读权限，则返回0。</path>
hadoop fs -test -r /tmp/luan/test.txt
-z如果文件<路径>的大小为零则返回0，否则返回1。
hadoop fs -test -z /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-text [-ignoreCrc] <src> ...]
获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream和Avro。
hadoop fs -text /tmp/luan/test1.txt
---------------------------------------------------------------------------------------
[-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
更新<路径> to指定的文件的访问和修改时间为当前时间。
如果文件不存在，则创建一个零长度的文件，当前时间作为<路径>的时间戳。
hadoop fs -touch /tmp/luan/test.txt
-a 只修改访问时间
hadoop fs -touch -a /tmp/luan/test.txt
-m 只修改修改时间
hadoop fs -touch -m /tmp/luan/test.txt
-t TIMESTAMP使用指定的时间戳(格式为yyyyMMddHHmmss)代替
hadoop fs -touch -t /tmp/luan/test.txt
-c 不创建任何文件
hadoop fs -touch -c /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-touchz <path> ...]
在<路径>处创建一个长度为零的文件，并以当前时间作为时间戳<路径>。如果文件存在且长度不为零，则返回错误
hadoop fs -touchz /tmp/luan/test.txt
---------------------------------------------------------------------------------------
[-truncate [-w] <length> <path> ...]
将匹配指定文件模式的所有文件截断到指定的长度。
-w 请求命令等待块恢复完成，如果必要的。
hadoop fs -truncate -w 100 /tmp/luan/test.txt
---------------------------------------------------------------------------------------




[-usage [cmd ...]]

hadoop fs 命令大全（解析和例子）相关推荐

Hadoop之hadoop fs命令
一.hadoop fs命令简介调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式. 所有的的FS shell命令使用URI路径作为参数.URI格 ...
Hadoop fs命令详解
本文非原创,转载自http://www.superwu.cn/2013/07/31/312 另外参考:http://www.blogjava.net/changedi/archive/2013/08/ ...
hadoop fs命令无法使用_Hadoop从入门到入土（三）HDFS集群简单维护及JAVA客户端连接HDFS...
集群简单维护查看日志上篇我们搭建了集群,并且完成了hdfs的搭建,但在我的linux02和linux03上,发现一个问题,我启动了datanode之后,开始进程还在,一会就自己消失了,这是为什么呢 ...
hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
hadoop fs命令
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme ...
Hadoop fs 命令使用手册
HDFS(Hadoop Distributed Filesystem)提供一个类似于Unix Shell的命令接口FSShell,用于client和HDFS进行数据交互. 调用FSShell命令的方式 ...
hadoop fs 命令详解
转载: https://blog.csdn.net/bgk083/article/details/49454209 转载于:https://www.cnblogs.com/water-green/p/ ...
【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录前言一.hadoop fs常用命令参数列表二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...
hadoop fs 与hdfs dfs命令区别
hadoop fs命令可以用于HDFS.本地文件系统等不同的文件系统. hdfs dfs命令只用于HDFS文件系统:

hadoop fs 命令大全（解析和例子）

hadoop fs 命令大全（解析和例子）相关推荐

最新文章

热门文章