【大数据学习】之hdfs垃圾回收站配置

我们知道linux是没有垃圾回收站的，而hdfs同样默认是没有的，但是hdfs是可以开启垃圾回收站的。

1、我们可以登录官网，选2.8.5版本， https://hadoop.apache.org/docs/r2.8.5/ 拉到页面最下面点击core-default.xml

2、然后在页面按ctrl + F 全局搜索"trash"，找到fs.trash.interval和fs.trash.checkpoint.interval

可以看看在其右边的注释，英文不好的可以用google的网页翻译一下哈

fs.trash.interval
0禁用。
该值一般设1440分钟，即1天，保留垃圾回收站的文件或文件夹1天超过就自动删除

fs.trash.checkpoint.interval
0, the value is set to the value of fs.trash.interval
即，如果为0，就跟fs.trash.interval设的值一样。默认设为0。
比如上面的fs.trash.interval值设为1440时，那fs.trash.checkpoint.interval的值就等于1440。

3、开始在core-site.xml设置、添加参数。见下图

4、重启一下hdfs

(1) 先停止 [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/stop-dfs.sh

(2) 再启动 [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh

5、尝试删除hdfs的文件

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -rm -f /user/hadoop/input

注意看抛出的一句话：18/10/16 00:10:52 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop001:9000/user/hadoop/input' to trash at: hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input

意思是将input里面的文件移动到另一个路径hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input，等于mv了。

可以验证一下回收站那里看看是否有数据，即用cat命令查看一下是否有被删的数据

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -cat hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input

数据还是有的。所以其实等于是mv到另一个路径了

最后，请注意：在生产上的hdfs垃圾回收必须开启，一般设7天或14天。

【大数据学习】之hdfs垃圾回收站配置相关推荐

大数据学习之路（电脑配置）
大数据学习之路第一天:大数据环境搭建(电脑配置) 一想到大数据,我们可能想到的是大数据可视化平台,展示的有多么的炫酷,可是你可能没有想到的是大数据中数据的存储,数据的计算(mapreduce)会是有 ...
大数据学习之HDFS基础
一.HDFS介绍基本介绍 HDFS的全称是Hadoop Distributed File System ,Hadoop的分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统,可以让 ...
大数据学习笔记03：安装配置CentOS7虚拟机
学习笔记<安装配置CentOS7虚拟机>下载链接:https://pan.baidu.com/s/1wxRh3ggzxZtzQshqMy_A8g 提取码:71yw
大数据学习-2.CentOS7的基本配置
文章目录一.配置 1.语言设置 2.固定IP地址 3.拍摄快照 4.FinalShell的使用一.配置 1.语言设置因系统语言为中文,导致家目录下路径中含英文解决方法如下:打开终端,输入vi ...
大数据学习笔记：创建与配置虚拟机[Ubuntu + CentOS]
文章目录一.创建虚拟机 (一)创建四个虚拟机 (二)查看网络拓扑结构二.配置虚拟机 (一)配置ubuntu虚拟机 (二)配置master虚拟机 (三)配置slave1虚拟机 (四)配置slave2 ...
大数据学习路线详解，零基础学大数据学习路线
在大数据蓬勃发展的现今,大家都看到了大数据未来不可限量的发展前景,跟着科技发展的潮流,不断学习新的技术知识,科多大数据相信,成为人生赢家不在话下. 大数据的三个发展方向,平台搭建/优化/运维/监控.大 ...
2019年最全的大数据学习大纲总结，持续更新.....
一,题记要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论 ...
（清华毕业生）大佬总结的“大数据”学习路线+教程
一,题记要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论 ...
此文献给正打算入门大数据的朋友：大数据学习笔记1000条（2）
501.MapReduce计算框架中的输入和输出的基本数据结构是键-值对. 502.Hadoop神奇的一部分在于sort和shuffle过程. 503.Hive驱动计算的"语言"是 ...

【大数据学习】之hdfs垃圾回收站配置

【大数据学习】之hdfs垃圾回收站配置相关推荐

最新文章

热门文章