As you can see, hadoop fsck and hadoop fs -dus report the effective HDFS storage space used, i.e. they show the “normal” file size (as you would see on a local filesystem) and do not account for replication in HDFS. In this case, the directory path/to/directory has stored data with a size of 16565944775310 bytes (15.1 TB). Now fsck tells us that the average replication factor for all files in path/to/directory is exactly 3.0 This means that the total raw HDFS storage space used by these files – i.e. factoring in replication – is actually: 1
3.0 x 16565944775310 (15.1 TB) = 49697834325930 Bytes (45.2 TB)
This is how much HDFS storage is consumed by files in path/to/directory
hdfs du命令是算的一份数据
If you never change the default value of 3 for the HDFS replication count of any files you store in your Hadoop cluster, this means in a nutshell that you should always multiply the numbers reported by hadoop fsck or hadoop fs -dus times 3 when you want to reason about HDFS space quotas.
参考： 
http://www.michael-noll.com/blog/2011/10/20/understanding-hdfs-quotas-and-hadoop-fs-and-fsck-tools/
stackoverflow也有回答
https://stackoverflow.com/questions/11574410/how-to-find-the-size-of-a-hdfs-file
hadoop fs -dus /user/frylock/input
and you would get back the total size (in bytes) of all of the files in the "/user/frylock/input" directory.

Also, keep in mind that HDFS stores data redundantly so the actual physical storage used up by a file might be 3x or more than what is reported by hadoop fs -ls and hadoop fs -dus.

du得出的是一份数据。 如果要得到数据存储空间就是得到平均副本数， 然后平均副本数 * du得到的大小 就是数据占空间大小。

转载于:https://www.cnblogs.com/bonelee/p/6955861.html

hdfs du命令是算的一份数据相关推荐

  1. hdfs mv命令_Hadoop2.x HDFS shell命令

    Hadoop2 HDFS shell命令 1.hdfs dfs -appendToFile ... 可同时上传多个文件到HDFS里面 2.hdfs dfs -cat URI [URI ...] 查看文 ...

  2. 常用的HDFS Shell命令及解析

    常用的HDFS Shell命令 大多数HDFS Shell命令的行为和对应的Unix Shell命令类似,主要不同之处是HDFS Shell 命令操作的是远程Hadoop服务器的文件,而Unix Sh ...

  3. HDFS常用命令的学习

    HDFS常用命令的学习 文章目录 HDFS常用命令的学习 1. hadoop fs,hadoop dfs,hdfs fs,hdfs dfs 区别 2. Hadoop 命令 3. HDFS 常用命令 命 ...

  4. HDFS常用命令汇总

    HDFS常用命令汇总 一.前言信息 二.帮助信息查看 1.查看帮助信息 2.帮助文档(附带命令的详细说明) 三.常用命令 1.创建目录 2.查看目录下的内容 3.上传文件 4.上传并删除源文件 5.查 ...

  5. linux 获取上两级目录下,Linux系统目录大小通过du命令获取实例

    使用过 Linux 系统的小伙伴都知道应该都知道, Linux 系统下的 ls 命令通常被我们用来查看文件目录的内容,但是不知道大家有没有细心留意,ls 命令所显示出来的每一个目录的大小竟然都只有 4 ...

  6. HDFS Shell命令练习

    前提条件 拥有hadoop2环境,可参考:CentOS7安装hadoop2.7.3伪分布式 步骤 HDFS常用的操作命令是dfs命令. 查看hdfs dfs所有命令 [hadoop@node1 ~]$ ...

  7. 【转】每天一个linux命令（34）：du 命令

    原文网址:http://www.cnblogs.com/peida/archive/2012/12/10/2810755.html Linux du命令也是查看使用空间的,但是与df命令不同的是Lin ...

  8. df命令、du命令、磁盘分区（fdisk命令）

    df命令 用于查看已挂载磁盘的总容量.使用容量.属于容量:不加参数以kb为单位显示: 实验1: [root@shu-test ~]# df 文件系统 1K-块 已用 可用 已用% 挂载点 /dev/s ...

  9. 2.1 . df 命令和du命令

    df 命令 选项: -l :仅显示本地文件的相关信息: -h:human-readable -i:显示inode的使用状态而非biocks du命令:选项:-s : 显示大小-h :实例:[root@ ...

最新文章

  1. 一则android软件开发工程师的招聘信息
  2. CNN网络架构演进：从LeNet到DenseNet
  3. C语言中static详细分析
  4. 关于TxQBService报的错，腾讯你真牛B啊
  5. C语言鸡尾酒排序cocktail sort算法(附完整源码)
  6. Tensorflow的高级封装
  7. OpenCV2:总结篇 imgproc(图像处理模块)
  8. strong vs copy
  9. Python之面向对象和正则表达（代数运算和自动更正）
  10. DFMZ-开发过程中遇到的错误-01
  11. 2020年下半年系统集成项目管理工程师上午试题解析（三）
  12. win10计算机用户名和密码怎么找到,win10怎么查看wifi账号密码_win10电脑怎么看wifi密码...
  13. p9刷Android原生系统,华为P9怎么刷机 华为P9卡刷机方法【图文教程】
  14. 三角函数各个公式推理及证明
  15. mysql是怎么存储原理_Mysql数据库存储原理是怎样的
  16. Pytorch基于卷积神经网络的猫狗识别
  17. Sublime Text 崇高文本 ----最性感的编辑器（程序员必备）
  18. iOS 热更新，实时代码更新，动态更新，动态库framework
  19. h5怎么获取微信用户openId，h5如何获取微信用户openId
  20. 动态SQL之choose、when、otherwise标签

热门文章

  1. Python将py文件生成exe文件
  2. mysql分库主键_分库主键设计-Mysql
  3. docker linux 快速开窗口_Linux快速搭建Docker-阿里云开发者社区
  4. oracle数据库查表_oracle数据库常用的99条查询语句
  5. c语言递归求塔移动次数,【C语言】Hanoi(汉诺)塔问题，求移动盘子的步骤(递归法)...
  6. 计算圆弧与矩形相交_GIS算法：3_拓扑空间关系计算模型DE-9IM
  7. delphi oracle新建用户,Delphi 中如何用另外一个用户的身份来运行一人程序
  8. java的sdk在哪个文件夹_我的计算机中的Java SDK文件夹在哪里？ Ubuntu 12.04
  9. easyexcel写入数据为空_如何解决Redis缓存和MySQL数据一致性的问题？
  10. python中赋值不正确的_python中的“赋值与深浅拷贝”