HBase oldWALs目录文件剧增占用磁盘空间问题

出现问题原因：

当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。

HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时，如果没有删除对应的znode数据，就会导致HMaster不会自动清理oldWALs。

解决方案：

1、进入Zookeeper目录下删除有关节点

2、确保hbase-site.xml中的有添加属性hbase.replication=false和属性hbase.backup.enable=false，如果是true就改成false即可，然后重启整个hbase集群。

<property><name>hbase.replication</name><value>false</value>
</property><property><name>hbase.backup.enable</name><value>false</value>
</property>

3、接下来可以看到oldWALs目录下占用空间已经被逐渐清理为空。

HBase | oldWALs目录文件剧增占用磁盘空间问题

Hbase2.2.1出现惊人大坑，为什么会出现oldWALs？

HBase oldWALs目录文件剧增占用磁盘空间问题相关推荐

HBase | oldWALs目录文件剧增占用磁盘空间问题
出现问题原因: 当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaste ...
【转】关于硬链接与软连接占用磁盘空间问题的分析研究
转自:https://blog.51cto.com/jk6627/1949090 @迁行感谢原作者. 在学习过硬链接和软连接的知识后,我们在做实验的过程中会发现,创建的硬链接会占用磁盘的空间,而我们 ...
查找磁盘占用最大的文件linux,linux查找系统中占用磁盘空间最大的文件
Q:下午有一客户磁盘空间占用很大,使用df查看磁盘剩余空间很小了,客户想知道是哪些文件占满了文件. Q1:在Linux下如何查看系统占用磁盘空间最大的文件? Q2:在Linux下如何让文件夹下的文件让 ...
找出占用磁盘空间最大的前10个文件或文件夹
找出占用磁盘空间最大的前10个文件或文件夹法1: # du -a /var | sort -n -r | head -n 10 法2: 如果需要输出可读性高的内容,请使用如下命令: $ cd /pa ...
磁盘空间被占满，如何找出占用磁盘空间过大的的文件
[linux]磁盘空间被占满,如何找出占用磁盘空间过大的的文件 1.查看磁盘空间使用情况 2.查找文件占用空间情况 3.进入对应路径,重复使用命令,重复多次后可以找到占用大的文件,不重要的就可以直接删 ...
docker 占用磁盘空间清理无用数据卷删除
目录 1.删除未被任何容器使用的本地卷 2. Docker System命令 3. 手动清理Docker镜像/容器/数据卷 3. 限制容器的日志大小 4. 重启Docker 1.删除未被任何容器使用的 ...
Window10 系统休眠或睡眠状态恢复-占用磁盘空间 100% 问题以及解决方法
Window10 系统休眠或睡眠状态恢复-占用磁盘空间 100% 问题以及解决方法系统环境版本排除问题过程解决问题总结不知从何时开始,电脑就不定期变的非常卡,尤其是笔者平时不关机,下班都是按 ...
清理 Docker 占用磁盘空间
前言 Docker 容器跑久了,其产生的日志可能会占用比较多的空间,如果你跟我一样,使用的小水管级的服务器,很容易就爆了,此时就需要清理一下,今天恰巧遇到这种情况,具体如下图: 从上图可知,空间使用率 ...
linux 硬链接占空间吗,硬链接到底占不占用磁盘空间？
硬链接到底占不占用磁盘空间? 查了很多资料都说硬链接不占用磁盘空间, 于是乎,我做了如下实验,竟意外地发现有的硬链接也占用了磁盘空间!!! 文件系统是 ext4,centos虚拟机. 不多说,往下 ...

HBase oldWALs目录文件剧增占用磁盘空间问题

HBase oldWALs目录文件剧增占用磁盘空间问题相关推荐

最新文章

热门文章