hadoop fs:du统计hdfs文件（目录下文件）大小的用法

hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

以下是我的使用统计文件时使用的记录：

[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
17/10/15 12:14:41 INFO hdfs.PeerCache: SocketCache disabled.
Found 113 items
-rwxrwx---+  3 t_user t_user_group  282171728 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+  3 t_user t_user_group  281446475 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+  3 t_user t_user_group  281021562 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+  3 t_user t_user_group  280834172 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+  3 t_user t_user_group  280411919 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000004_0
-rwxrwx---+  3 t_user t_user_group  279749295 2017-10-14 20:38 /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01
17/10/15 12:14:54 INFO hdfs.PeerCache: SocketCache disabled.
282171728  /t_user/my_hive_db/my_hive_table_test01/000000_0
281446475  /t_user/my_hive_db/my_hive_table_test01/000001_0
281021562  /t_user/my_hive_db/my_hive_table_test01/000002_0
280834172  /t_user/my_hive_db/my_hive_table_test01/000003_0
280411919  /t_user/my_hive_db/my_hive_table_test01/000004_0
279749295  /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01
17/10/15 12:17:05 INFO hdfs.PeerCache: SocketCache disabled.
269.1 M  /t_user/my_hive_db/my_hive_table_test01/000000_0
268.4 M  /t_user/my_hive_db/my_hive_table_test01/000001_0
268.0 M  /t_user/my_hive_db/my_hive_table_test01/000002_0
267.8 M  /t_user/my_hive_db/my_hive_table_test01/000003_0
267.4 M  /t_user/my_hive_db/my_hive_table_test01/000004_0
266.8 M  /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01
17/10/15 12:16:52 INFO hdfs.PeerCache: SocketCache disabled.
29959873142  /t_user/my_hive_db/my_hive_table_test01[t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01
17/10/15 12:17:17 INFO hdfs.PeerCache: SocketCache disabled.
27.9 G  /t_user/my_hive_db/my_hive_table_test01

hadoop fs:du统计hdfs文件（目录下文件）大小的用法相关推荐

nodejs 清空目录或清空目录下文件夹
利用nodejs fs模块制作一个清空目录下文件的小工具具体思路封装一个函数,该函数接收一个参数path,表示目标路径. 首先引入fs模块,在函数体内,调用fs模块的API readdirSy ...
命令查询hdfs目录下文件总和
一.可以计算出ccc文件下有多少个文件夹 hadoop fs -ls /aaa/bbb/ccc/* |grep "^d"|wc -l 二.可以统计出HDFS文件数量大小 hadoo ...
python 实现统计ftp服务器指定目录下文件夹数目、文件数目及所有文件大小本次主要为满足应用方核对上传到ftp服务器的文件是否缺漏。主要要求：指定目录下，文件夹数目/文件数目/所有文件大小
python 实现统计ftp服务器指定目录下文件夹数目.文件数目及所有文件大小本次主要为满足应用方核对上传到ftp服务器的文件是否缺漏. 主要要求:指定目录下,文件夹数目/文件数目/所有文件大小,类 ...
linux 统计命令执行后的行数或者统计目录下文件数目
ls |wc 是统计你这个目录下的文件数目. ls |wc -l是输出第一个结果即31即文件的数目. 转载于:https://www.cnblogs.com/apple2016/p/6956814.h ...
Linux命令：ls、grep、wc统计目录下文件及文件夹的个数。
统计当前目录下文件的个数(不包括目录) 1 $ ls -l | grep "^-" | wc -l 统计当前目录下文件的个数(包括子目录) 1 $ ls -lR| grep &qu ...
SHELL脚本之统计目录下文件及子目录数量
一.需求说明需要统计某目录下的文件数量,事实上统计目录下文件数量只需要一条命令即可完成,写成shell脚本只是方便使用和展示.另外我们以后还可以在此脚本上进行扩展,统计指定类型的文件数量,指定文 ...
Linux中/proc目录下文件详解
Linux中/proc目录下文件详解(一) 声明:可以自由转载本文,但请务必保留本文的完整性. 作者:张子坚 email:zhangzijian@163.com 说明:本文所涉及示例均在fedora ...
Linux中/proc目录下文件详解 /proc/devices文件 /proc/modules文件
http://blog.chinaunix.net/uid-10449864-id-2956854.html 原来对linux系统中的/proc目录不是很了解,只知道可以查看cpu,内存等相关的信息, ...
linux在当前目录下创建pic目录,Linux中/proc目录下文件详解
文章转自: Linux中/proc目录下文件详解(一) ------------------------------------------------------------------------ ...

hadoop fs:du统计hdfs文件（目录下文件）大小的用法

hadoop fs:du统计hdfs文件（目录下文件）大小的用法

hadoop fs:du统计hdfs文件（目录下文件）大小的用法相关推荐

最新文章

热门文章