Hadoop回收站机制

1、简介
在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。
可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。

2、回收站功能启用
Hadoop的回收站trash功能默认是关闭的，所以需要在core-site.xml中手动开启。
修改core-site.xml，增加[在每个节点(不仅仅是主节点)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下内容]：

<property>
<name>fs.trash.interval</name>
<value>1440</value>
<description>Number of minutes between trash checkpoints.
If zero, the trash feature is disabled.
</description>
</property>

默认是0，单位是分钟，这里设置为1天。
删除数据rm后，会将数据move到当前文件夹下的.Trash目录。

3、回收站日常操作
存放位置
hadoop fs -ls /user/hadoop/.Trash/Current/

查看hdfs存储空间使用情况
hadoop dfsadmin -report

查看回收站占用空间及内容
hadoop dfs -du -h /user/hadoop/.Trash/
hadoop fs -ls /user/hadoop/.Trash/Current/
hadoop dfs -ls /user/hadoop/.Trash/

清空回收站
删除.Trash目录
hadoop fs -rmr .Trash
hadoop fs -rmr .Trash
hadoop dfs -rmr /user/hadoop/.Trash/*

清空回收站命令（经测试，基本没用）
hdfs dfs -expunge
bin/hadoop dfs -expunge
bin/hadoop dfs -ls .Trash/Current/user/grid

4、hdfs文件直接删除不进回收站
-- hadoop dfs -rmr /tmp/nisj/oss/
-- hadoop dfs -rmr -skipTrash /tmp/nisj/oss/

5、hive表删除情况
hive的表及分区删除，如果回收站功能启用，实际上也是将文件放到回收站的。如果想快速利用空间，实际上也要进行手工清空回收站操作。目前，没有找到删除hive表不进入回收站的方法。
在一次系统跑批中，由于空间有限，要将从oss上下载的数据文件处理完后，立即删除；但表数据文件实际上是进入了回收站，还是占用hdfs空间，所以编写了一个定时脚本进行回收站的清空操作。
[hadoop@emr-header-1 getDataFromOss]$ cat truncate_trash.sh

#!/usr/bin/env bashsource /etc/profile;
/usr/lib/hadoop-current/bin/hadoop dfs -rmr /user/hadoop/.Trash/* >>/home/hadoop/nisj/getDataFromOss/trash_truncate.log 2>&1

Hadoop回收站机制相关推荐

Hadoop Writable机制
<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理>第3章序列化与压缩,本章涉及了org.apache.hadoop.io包下最重要的两部分内容:序列化 ...
避免误删文件：Linux回收站机制
昨日凌晨精神恍惚,误删了在虚拟机中写的程序文件,谷歌度娘数据恢复方法失败,使昨天的工作功亏一篑,幸好程序改动不多.现准备在所有服务器用机制来解决误删问题.这样总比花时间恢复付出的代价小得多把. 1.编 ...
hadoop 回收站Trash
介绍: Hadoop回收站trash,默认是关闭的. 和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文 ...
大数据学习笔记29：Hadoop压缩机制演示
文章目录一.Hadoop压缩机制 1.两种Hadoop自带压缩格式 2.常用压缩格式优缺点及应用场景 (1)gzip压缩 (2)bzip2压缩 (3)lzo压缩 (4)snappy压缩二.Java ...
Linux 下回收站机制
Linux下删除文件不像Windows那样,删除文件放入回收站. 而是通过rm 命令删除文件.文件一般无法找回, 就是这种机制,每次带来的都是巨大的教训. 为此这里实现一个简易的回收站机制: 功能: ...
Oracle回收站机制
目录一.回收站概念二.回收站功能三.管理回收站四.示例 1.先后删除的表名相同,然后闪回表的问题 2.Flashback Drop只能用于非系统表空间和本地管理的表空间 3.理解重命名的过程4 ...
Hadoop回收站trash
回收站简介在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash 回收站里的文件可以快速恢复. 可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站被清空时,文件才会 ...
linux 磁盘不回收站,避免误删文件：Linux回收站机制
1.编写回收站脚本程序 [root@SlaveA data]# cat /bin/rm.sh #!/bin/sh # Author steven # Modify 20120709 dirpath=/ ...
linux 恢复回收站,避免误删文件：Linux回收站机制(升级版)
昨日凌晨精神恍惚,误删了在虚拟机中写的程序文件,谷歌度娘数据恢复方法失败,使昨天的工作功亏一篑,幸好程序改动不多.现准备在所有服务器用机制来解决误删问题.这样总比花时间恢复付出的代价小得多把. 脚本说 ...

Hadoop回收站机制

Hadoop回收站机制相关推荐

最新文章

热门文章