HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复

和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Emptier，这个线程专门管理和监控系统回收站下面的所有文件/目录，对于已经超过生命周期的文件/目录，这个线程就会自动的删除它们，不过这个管理的粒度很大。另外，用户也可以手动清空回收站，清空回收站的操作和删除普通的文件目录是一样的，只不过HDFS会自动检测这个文件目录是不是回收站，如果是，HDFS当然不会再把它放入用户的回收站中了

根据上面的介绍，用户通过命令行即HDFS的shell命令删除某个文件，这个文件并没有立刻从HDFS中删除。相反，HDFS将这个文件重命名，并转移到操作用户的回收站目录中（如/user/hdfs/.Trash/Current, 其中hdfs是操作的用户名）。如果用户的回收站中已经存在了用户当前删除的文件/目录，则HDFS会将这个当前被删除的文件/目录重命名，命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始知道没有重名为止)。

当文件还在/user/hdfs/.Trash/Current目录时，该文件可以被迅速地恢复。文件在/user/hdfs/.Trash/Current中保存的时间是可配置的，当超过这个时间，Namenode就会将该文件从namespace中删除。文件的删除，也将释放关联该文件的数据块。注意到，在文件被用户删除和HDFS空闲的增加之间会有一个等待时间延迟。
当被删除的文件还保留在/user/hdfs/.Trash/Current目录中的时候，如果用户想恢复这个文件，可以检索浏览/user/hdfs/.Trash/Current目录并检索该文件。/user/hdfs/.Trash/Current目录仅仅保存被删除文件的最近一次拷贝。/user/dfs/.Trash/Current目录与其他文件目录没有什么不同，除了一点：HDFS在该目录上应用了一个特殊的策略来自动删除文件，目前的默认策略是删除保留超过6小时的文件，这个策略以后会定义成可配置的接口。

还有，NameNode是通过后台线程(默认是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也可以通过fs.trash.classname指定TrashPolicy类)来定时清空所有用户回收站中的文件/目录的,它每隔interval分钟就清空一次用户回收站。具体的操作步骤是，先检查用户回收站目录/user/用户名/.Trash下的所有yyMMddHHmm形式的目录，然后删除寿命超过interval的目录，最后将当前存放删除的文件/目录的回收站目录/user/用户名/.Trash/current重命名为一个/user/用户名/.Trash/yyMMddHHmm.

从这个回收线程(Emptier)的实现可以看出，被用户用命令删除的文件最多可在其回收站中保存2*interval分钟，最少可保存interval分钟，过了这个有效期，用户删除的文件就永远也不可能恢复了

配置

Hadoop回收站trash，默认是关闭的。

1.修改conf/core-site.xml,增加

Xml代码

<property>
<name>fs.trash.interval</name>
<value>1440</value>
<description>Number of minutes between trash checkpoints.
If zero, the trash feature is disabled.
</description>
</property>

默认是0.单位分钟。这里我设置的是1天（60*24）
删除数据rm后，会将数据move到当前文件夹下的.Trash目录

2.测试
1）新建目录input

Java代码

hadoop/bin/hadoop fs -mkdir input

2）上传文件

Java代码

root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input

3）删除目录input

Java代码

[root@master data]# hadoop fs -rmr input
Moved to trash: hdfs://master:9000/user/root/input

4）参看当前目录

Java代码

[root@master data]# hadoop fs -ls
Found 2 items
drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash

发现input删除，多了一个目录.Trash

5）恢复刚刚删除的目录

Java代码

[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input

6）检查恢复的数据

Java代码

[root@master data]# hadoop fs -ls input
Found 2 items
-rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01
-rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02

6）删除.Trash目录（清理垃圾）

Java代码

[root@master data]# hadoop fs -rmr .Trash
Deleted hdfs://master:9000/user/root/.Trash

注意：当用户写程序调用HDFS的API时，NameNode并不会把删除的文件或目录放入回收站Trash中，而是需要自己实现相关的回收站逻辑，见如下的代码

import java.io.IOException;import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;public class RMFile {private final static Log log = LogFactory.getLog(RMFile.class);private final static Configuration conf = new Configuration();/*** Delete a file/directory on hdfs* * @param path* @param recursive* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive)throws IOException {log.info("rm: " + path + " recursive: " + recursive);boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}/*** Delete a file/directory on hdfs,and move a file/directory to Trash* @param fs* @param path* @param recursive* @param skipTrash* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive,boolean skipTrash) throws IOException {log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);if (!skipTrash) {Trash trashTmp = new Trash(fs, conf);if (trashTmp.moveToTrash(path)) {log.info("Moved to trash: " + path);return true;}}boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}public static void main(String[] args) throws IOException {conf.set("fs.default.name", "hdfs://data2.kt:8020/");FileSystem fs = FileSystem.get(conf);RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);}}

执行程序后，发现使用程序删除的文件，也到了用户的回收站目录中，见红框内

HDFS 的Trash回收站功能的配置、使用相关推荐

HDFS的Trash回收站功能
文件的删除和恢复和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期, ...
hdfs Trash回收站配置 java操作trash不生效解决
Trash trash位于org.apache.hadoop.fs包中,通过传入fs和conf创建 public Trash(FileSystem fs, Configuration conf) th ...
Hadoop Trash回收站使用指南
转载:https://blog.csdn.net/sunnyyoona/article/details/78869778 我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站: sudo ...
HDFS的垃圾回收站
HDFS的垃圾回收站首先需要明白一点,现在linux系统好像没有回收站的说法了,所以在删除别人的文件或文件夹之前一定要慎重,毕竟rm命令是高危命令,删除了就没有了,所以对于高危命令,我们要保持敬畏之 ...
回收站功能在 Linux 中的实现
本文仿照 Windows 回收站的功能,运用 Bash 脚本在 Linux 上做了实现,创建 delete 脚本代替 rm 命令对文件或目录进行删除操做.该脚本实现了以下功能:对大于 2G 的文件或目 ...
OpenWares | Open Source and Free Matters » 为rm命令增加回收站功能
OpenWares | Open Source and Free Matters » 为rm命令增加回收站功能为rm命令增加回收站功能 March 11th, 2011 openwares Leav ...
java 实现回收站功能,回收站功能在 Linux 中的实现
本文仿照 Windows 回收站的功能,运用 Bash 脚本在 Linux 上做了实现,创建 delete 脚本代替 rm 命令对文件或目录进行删除操做.该脚本实现了以下功能:对大于 2G 的文件或目 ...
在 Linux 终端中实现回收站功能
本文仿照 Windows 回收站的功能,运用 Bash 脚本在 Linux 上实现.创建 delete 脚本代替 rm 命令对文件或目录进行删除操作. 该脚本实现了以下功能: 目录 1. Delete ...
linux系统回收站功能的实现
如何实现linux系统的回收站功能,对rm权限做限制,避免误删造成不可逆问题. 这就要靠环境变量去实现,首先需要了解环境变量的作用. /etc/profile,/etc/bashrc 是系统全局环境变 ...

HDFS 的Trash回收站功能的配置、使用

HDFS 的Trash回收站功能的配置、使用相关推荐

最新文章

热门文章