启用Hadoop集群垃圾箱配置

配置参数：

<name>fs.trash.interval</name>

<description>检查点被删除后的分钟数。如果为零，垃圾桶功能将被禁用。

该选项可以在服务器和客户端上配置。如果垃圾箱被禁用服务器端，则检查客户端配置。

如果在服务器端启用垃圾箱，则会使用服务器上配置的值，并忽略客户端配置值。</description>

</property>

<name>fs.trash.checkpoint.interval</name>

<description>垃圾检查点之间的分钟数。应该小于或等于fs.trash.interval。

如果为零，则将该值设置为fs.trash.interval的值。每次检查指针运行时，

它都会从当前创建一个新的检查点，并删除比fs.trash.interval更早创建的检查点。</description>

</property>

如果启用垃圾箱配置，dfs命令删除的文件不会立即从HDFS中删除。相反，HDFS将其移动到垃圾目录（每个用户在/user/<username>/.Trash下都有自己的垃圾目录）。只要文件保留在垃圾箱中，文件可以快速恢复。

最近删除的文件移动到当前的垃圾目录（/user/<username>/.Trash/Current），并且在一个可配置的时间间隔内，HDFS创建检查点（在/ user / <username> /.Trash / <date>下）查找当前垃圾目录中的文件，并在旧的检查点过期时删除它们。查看关于垃圾检查点的FS shell的删除命令。

在垃圾桶里过期后，NameNode将从HDFS命名空间中删除该文件。删除文件会导致与文件关联的块被释放。请注意，用户删除文件的时间与HDFS中相应增加可用空间的时间之间可能存在明显的时间延迟。

以下是一个将显示FS Shell如何从HDFS中删除文件的示例。我们在目录delete下创建了2个文件（test1＆test2）

[elon@hadoop4 bin]$ hadoop fs -mkdir -p delete/test1

[elon@hadoop4 bin]$ hadoop fs -mkdir -p delete/test2

[elon@hadoop4 bin]$ hadoop fs -ls delete

Found 2 items

drwxr-xr-x - elon supergroup 0 2018-03-03 13:45 delete/test1

drwxr-xr-x - elon supergroup 0 2018-03-03 13:45 delete/test2

我们将删除文件test1。下面的注释显示该文件已被移至垃圾箱目录。

[elon@hadoop4 bin]$ hadoop fs -rm -r delete/test1

18/03/03 13:46:03 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 10 minutes, Emptier interval = 0 minutes.

18/03/03 13:46:03 INFO fs.TrashPolicyDefault: Moved: 'hdfs://localhost:9000/user/elon/delete/test1' to trash at: hdfs://localhost:9000/user/elon/.Trash/Current/user/elon/delete/test1

Moved: 'hdfs://localhost:9000/user/elon/delete/test1' to trash at: hdfs://localhost:9000/user/elon/.Trash/Current

现在我们将使用skipTrash选项删除文件，该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

[elon@hadoop4 bin]$ hadoop fs -rm -r -skipTrash delete/test2

Deleted delete/test2

我们现在可以看到垃圾目录仅包含文件test1。

[elon@hadoop4 bin]$ hadoop fs -ls .Trash/Current/user/elon/delete/

Found 1 items

drwxr-xr-x - elon supergroup 0 2018-03-03 13:45 .Trash/Current/user/elon/delete/test1

所以文件test1进入垃圾箱，文件test2被永久删除。

在一个可配置的时间间隔内，HDFS创建检查点（在/ user / <username> /.Trash / <date>下）查找当前垃圾目录中的文件

[elon@hadoop4 bin]$ hadoop fs -ls .Trash/180303135000/user/elon/delete

Found 1 items

drwxr-xr-x - elon supergroup 0 2018-03-03 13:45 .Trash/180303135000/user/elon/delete/test1

Reference：

[1]fs.trash.interval & fs.trash.checkpoint.interval http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml

[2]SpaceReclamationhttp://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Space_Reclamation

[3] expunge http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#expunge

启用Hadoop集群垃圾箱配置相关推荐

Hadoop集群垃圾箱配置 | fs.trash.interval
启用Hadoop集群垃圾箱配置配置参数: <property><name>fs.trash.interval</name><value>10</ ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
《Hadoop集群与安全》一2.1　在Hadoop集群中配置操作系统
本节书摘来自华章出版社<Hadoop集群与安全>一书中的第2章,第2.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区& ...
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
Hadoop的学习前奏（二）——Hadoop集群的配置
前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
Hadoop集群的配置
一..创建虚拟机 (10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客 1. 创建虚拟机 2. 安装 CentOS 二.虚拟机网络设置 (10条消息) 虚拟机网络配置_仄言 ...
Hadoop集群环境配置搭建
一.简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch ...
[转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
hadoop集群基本配置
软件说明 hadoop集群使用cloudera hadoop-2.5.0-cdh5.3.6 java-JDK使用jdk-8u171-linux-x64 Hive使用hive-0.13.1-cdh5.3 ...

启用Hadoop集群垃圾箱配置

启用Hadoop集群垃圾箱配置相关推荐

最新文章

热门文章