前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

什么是配额管理？

Hadoop分布式文件系统(HDFS)允许管理员为每个目录设置配额。

新建立的目录没有配额。最大的配额为Long.MAX_VALUE。配额为1可以强制目录保持为空。

目录配额为对目录树上该目录下的文件及目录总数做硬性限制。

如果创建文件或目录时超过了配额，该操作会失败。

重命名不会改变该目录的配额。如果重命名操作会导致违反配额限制，该操作将会失败。

如果尝试设置一个配额而现有文件数量已经超出了这个新配额，则设置失败。

配额和 FSImage 保持一致。当启动时，如果 FSImage 违反了某个配额限制，则启动失败并生成错误报告。

设置或删除一个配额会创建相应的日志记录。

配置管理 Shell 命令

下面的命令或选项为用于支持配额的，前两个为管理员命令。

hdfs dfsadmin [-setQuota <quota> <dirname>...<dirname>]

把每个目录配额设为，这个命令会在每个目录上尝试，如果不是一个正的长整型数，目录或文件名不存在，或者目录超过配额限，则会产生错误报告。

hdfs dfsadmin [-clrQuota <dirname>...<dirname>]

为每个目录删除配额。这个命令会在每个目录上尝试，如果目录不存在或为文件，则会产生错误报告。如果目录原来没有设置配额则不会报错。

hadoop fs -count -q <dirname>...<dirname>

使用 -q 选项，会报告每个目录设置的配置以及剩余配额。如果目录没有设置配额，会报告 none 和 inf，如下所示：

[root@node1 ~]# hadoop fs -count -q /data
none             inf            none             inf            2            4               0 /data

一篇文章搞懂 HDFS 的配额管理相关推荐

一篇文章搞懂 HDFS ACLs权限管理
小米的HDFS承载了公司内多个部门几十条业务线的几十PB数据,这些数据有些是安全级别非常高的用户隐私数据,也有被广泛被多个业务线使用的基础数据,不同的业务之间有着复杂的数据依赖.因此,如何管理好这些数 ...
一篇文章搞懂 HDFS 的 Archive 到底是什么
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...
一篇文章搞懂filebeat（ELK）
一篇文章搞懂filebeat(ELK) https://www.cnblogs.com/zsql/p/13137833.html 目录一.filebeat是什么 1.1.filebeat和beats ...
c++ 计算正弦的近似值_一篇文章搞懂正弦保真性
本文介绍数字信号处理中"正弦保真性"这一概念,想要更好地理解本文所述内容,建议读者先阅读<一篇文章搞懂卷积>. 正弦保真性定义一个正弦信号作为线性时不变系统的输入时, ...
一篇文章搞懂架构师的核心技能
" 这是架构师系列的第一篇:核心技能,希望这个系列能完全揭示架构师这个职位:我先从核心技能开始,后续还有架构师之路,架构实战等架构师系列文章. 本文作者陈睿优知学院创始人,前携程定制旅游 ...
【一篇文章搞懂】什么是分布式锁？为什么要用分布式锁？看这篇文章准没错！
简介 HikariCP 是用于创建和管理连接,利用"池"的方式复用连接减少资源开销,和其他数据源一样,也具有连接数控制.连接可靠性测试.连接泄露控制.缓存语句等功能,另外,和 dr ...
一篇文章搞懂STL中的空间配置器allocator(原创,多图,易懂)
Table of Contents 0.引入 1.标准的空间配置器allocator 2.更为高效的空间配置器alloc 2.1----对象的构造与析构 2.1.1 对象的构造:::construct ...
组件化开发实战_一篇文章搞懂什么是前端“组件化”开发
学过网页的朋友都知道,制作一个网页离不开HTML.CSS和JavaScript技术.对于初学者来来说,掌握这3门技术就已经很不容易了,为什么前端为什么又要搞出来一个"组件化"开发的 ...
reactrouter监听路由变化_一篇文章搞懂前端路由原理解析和实现方式
在单页应用如此流行的今天,曾经令人惊叹的前端路由已经成为各大框架的基础标配,每个框架都提供了强大的路由功能,导致路由实现变的复杂. 想要搞懂路由内部实现还是有些困难的,但是如果只想了解路由实现基本原理 ...

一篇文章搞懂 HDFS 的配额管理

前言

正文

什么是配额管理？

配置管理 Shell 命令

一篇文章搞懂 HDFS 的配额管理相关推荐

最新文章

热门文章