Kylin的垃圾清理

在Kylin运行一段时间之后，有很多数据因为不再使用而变成了垃圾数据，这些数据占据着大量HDFS、HBASE等资源，当积累到一定规模时会对集群性能产生影响。这些垃圾数据主要包括：
1、Purge之后原Cube的数据
2、Cube合并之后原Cube Segment的数据
3、任务失败中未被正常清理的临时数据文件
4、已经过时的Cube构建的日志和历史任务
为了对这些垃圾数据进行清理，Kylin提供了两个常用的工具。特别注意：数据一经删除将彻底无法恢复！建议使用前一定要进行元数据备份，并对目标资源删除之前进行谨慎的核对。
清理元数据
1、首先，执行检查，这是安全操作，不会修改任何内容

$KYLIN_HOME/bin/metastore.sh clean
#这样智慧列出可以被清理的资源供用户核对，而不进行实际的删除操作

在上面的命令中添加“–delete true”参数，这样就会清理掉无用的资源，切记，在这个命令操作之前，一定要备份kylin元数据

./bin/metastore.sh backup$KYLIN_HOME/bin/metastore.sh clean --delete true

清理存储器数据
Kylin在构建Cube过程中会在HDFS上生成中间数据。另外，当我们对Cube执行purge/drop/merge时，一些HBASE的表可能会保留在HBASE中，而这些表不再被查询，尽管Kylin会做一些自动的垃圾回收，但是它可能不会覆盖所有方面，所以需要我们能够没隔一段时间做一些离线存储的清理工作。

1.检查那些资源需要被清理，这个操作不会删除任何内容

$KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete false

2.开始执行清理操作

$KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true

Kylin的垃圾清理相关推荐

垃圾清理代码_最近弄了个清理电脑C盘的经验
首先,自己有个良好的习惯,尽量的保证自己C盘不装任何其它的额外的东西.一般都放到其它的盘上去,这样至少可以保证你的系统盘不会三天两头就慢,真的太烦人了. 有一个好的自动清理的软件在手里,也是必不可少的 ...
sublime text3 运行lua_[电脑常识] 用这4个系统垃圾清理软件，让电脑操作系统运行如飞 !...
电脑经过长时间的运行,便会产生大量的系统垃圾,如果不及时进行清理,电脑运行速度就会越来越慢,甚至会威胁到操作系统的安全.由于操作系统产生的系统垃圾不但数量多,而且种类复杂,如果用手工清理,那将是一件十 ...
怎么查电脑系统版本_电脑系统垃圾清理利器，专业、小巧且免费，有这一个就够了...
图层互联网IT技巧分享平台大家好,我是你们的三凸电脑使用一段时间会变慢这是因为系统中驻留了大量的垃圾信息安装了软件如果没有彻底清除也会残留很多没用的注册表占据内存还有,软件有时候会安装失 ...
Windows 7系统垃圾清理自写程序
系统清理.bat @echo off color 0a title windows7系统垃圾清理--- echo ★☆ ★☆ ★☆ ★☆ ★☆★☆★☆ ★☆ ★☆ ★☆ ★☆★ echo ★☆ ★☆ ...
360怎么看电脑配置_Win10系统自带杀毒和垃圾清理好么？需不需要安装360卫士
文/二蛋 Win10系统自带杀毒软件和垃圾清理好用么?需不需要安装360卫士? 手机系统有安卓和苹果之分,但是电脑系统可能大部分人用的都是微软系统,当然除了个别专业人士用苹果电脑除外哈. 那我们也知道 ...
安卓清理垃圾清理代码_从战中清理代码
安卓清理垃圾清理代码从战中清除代码–验证让我们直接从一个例子开始. 考虑一个简单的Web服务,该服务允许客户向商店下订单. 订单控制器的非常简化的版本可能如下所示– @RestController ...
安卓清理垃圾清理代码_用方面清理代码
安卓清理垃圾清理代码在我以前的文章中,我描述了字母转换,并且提到了我们使用AspectJ来解决该任务,但是我没有提及AspectJ的工作原理和一般性方面. 因此,在接下来的几行中,我将解释: 什么是 ...
系统垃圾清理.cmd
将以下内容保存为"系统垃圾清理.cmd"文件,运行即可 @echo off echo 正在清除系统垃圾文件,请稍等...... del /f /s /q %systemdrive% ...
android 存储不被垃圾清理,手机内存足够大,就不需要清理垃圾了?你错了!
原标题:手机内存足够大,就不需要清理垃圾了?你错了! 中新网4月20日电今天,人们使用智能手机的时间已超过电脑,希望在任何时候.任何地方,一部手机搞定所有.对手机的流畅度.性能和安全的要求越来越高.新 ...

Kylin的垃圾清理

Kylin的垃圾清理相关推荐

最新文章

热门文章