HDFS的垃圾回收站

首先需要明白一点,现在linux系统好像没有回收站的说法了,所以在删除别人的文件或文件夹之前一定要慎重,毕竟rm命令是高危命令,删除了就没有了,所以对于高危命令,我们要保持敬畏之心.

hdfs在部署的时候默认垃圾回收站是禁用的,因此hdfs是可以开启垃圾回收站的。

先看看官网对回收站的解释:
第一个参数:fs.trash.interval=0 表示禁用

Number of minutes after which the checkpoint gets deleted. If zero,the trash feature is disabled. This option may be configured both on the server and the client. If trash is disabled server side then the client side configuration is checked. If trash is enabled on the server side then the value configured on the server is used and the client configuration value is ignored.

也就是说将fs.trash.interval的值表示检查点被删除之前的分钟数。 如果为零,则禁用垃圾箱功能。 可以在服务器和客户端上配置此选项。 如果在服务器端禁用垃圾,则检查客户端配置。 如果在服务器端启用了垃圾箱,则使用服务器上配置的值,并忽略客户端配置值。
那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,例如1440=24h=1天。

第二个参数:fs.trash.checkpoint.interval=0

Number of minutes between trash checkpoints. Should be smaller or equal to fs.trash.interval. If zero, the value is set to the value of fs.trash.interval. Every time the checkpointer runs it creates a new checkpoint out of current and removes checkpoints created more than fs.trash.interval minutes ago.

也就是说fs.trash.checkpoint.interval的值表示垃圾检查点之间的分钟数。 应该小于或等于fs.trash.interval。 如果为零,则将该值设置为fs.trash.interval的值。 每次检查点运行时,它都会创建一个新的检查点,并删除超过fs.trash.interval分钟前创建的检查点。

也就是默认为0。
那么我们需要在core-site.xml文件配置回收站

[hadoop@hadoop001 hadoop]$ vi core-site.xml
添加一下内容:

<property><name>fs.trash.interval</name><value>1440</value>
</property>
<property><name>fs.trash.checkpoint.interval</name><value>0</value>
</property>

然后重启HDFS集群。
接着试着删除一些文件。测试一下效果

说明被清除掉的文件被移到了垃圾回收站里面了
可以在这个hdfs://myha01/user/hadoop/.Trash/Current/trash/words.txt路径去恢复被删除的文件
存放在垃圾回收站的文件一旦超过了设置的时间,就是自动清空!!!

文件内容开了垃圾回收站是不会丢的,生产上必须要开启垃圾回收站,一般是7天或是14天或者更长

HDFS的垃圾回收站相关推荐

  1. 【大数据学习】之hdfs垃圾回收站配置

    我们知道linux是没有垃圾回收站的,而hdfs同样默认是没有的,但是hdfs是可以开启垃圾回收站的. 1.我们可以登录官网,选2.8.5版本, https://hadoop.apache.org/d ...

  2. Hadoop垃圾回收站与YARN日志聚合

    垃圾回收站 在HDFS里,回收站功能开启后,删除文件时,不会真正的删除,暂时是放入回收站.trash中,回收站里的文件可以快速恢复.可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站 ...

  3. Hadoop生态圈(十五)- HDFS Trash垃圾回收详解

    目录 前言 1. Trash垃圾回收 1.1 背景 1.2 功能概述 1.2.1 Trash Checkpoint 1.3 功能开启 1.3.1 关闭HDFS集群 1.3.2 修改core-site. ...

  4. HDFS的垃圾回收机制

    hadoop hdfs 垃圾回收机制 何为垃圾回收 开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除 如何开始 vim core-site.xml fs.tras ...

  5. hdfs datanode 清除回收站的命令

    在 HDFS 中,可以使用 hdfs dfs -expunge 命令清除回收站. 例如,要清除 HDFS 中的回收站,可以使用以下命令: hdfs dfs -expunge

  6. linux界面回收站没了,Linux创建垃圾回收站,解决误删操作的烦恼

    Linux创建垃圾回收站,解决误删操作的烦恼 --delete安全的删除命令 废话少说直接进入主题 1.创建一个简单的delete命令脚本(因阿诺的英语太渣所用的中文字符集) [root@anuo ~ ...

  7. 深度分析智能垃圾回收站 智慧社区|智能垃圾分类|智慧环卫

    深度分析智能垃圾回收站--随着智慧社区的建设,垃圾站重中之重,相比传统垃圾箱,智能垃圾回收站有何独特之处. 智能垃圾站标准功能配置:刷卡.扫码.微信小程序开门.称重积分.后台管理.溢满告警.电子防夹手 ...

  8. SkeyeVSS垃圾回收站视频智能分析系统助力垃圾分类 共享美好生活

    近年来各大城市陆续市推行垃圾分类,在街道.社区和单位设立智能垃圾分类回收站.目前很多社区也已落地智能回收站,多个场所正在接入并陆续投入使用.对比社区四分类垃圾桶的使用,依靠人为管理分类投放工作力度大, ...

  9. HDFS 的Trash回收站功能的配置、使用

    文件的删除和恢复  和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期 ...

最新文章

  1. Beginning Adaptive Layout Tutorial
  2. 【深度学习篇】--Windows 64下tensorflow-gpu安装到应用
  3. lua linux获取文件夹,Linux:删除目录下的文件的10种方法
  4. Kubernetes管理员的11条 安全军规
  5. Magento: 自动生成产品SKU Auto generated SKU when add product in magento
  6. git回滚命令reset、revert的区别
  7. Python进阶(四)Python中的异常
  8. 中星9号新增测试频道_直播卫星新增中央卫视18套高清电视节目频道测试
  9. c++实现计算二十四点--zj
  10. php分页设计美化,国产PHP框架之ThinkPHP各模块开发系列十七,美化分页显示
  11. MySQL之按日期查询表数据
  12. 栈帧详解ebp、esp
  13. iOS15可以多开APP?其实是专注模式的功能
  14. android获取本地所有视频,各位大神们 android怎么获取手机本地视频啊?
  15. android和MTKP60区别,联发科P60和骁龙625哪个好 骁龙625与联发科P60区别对比 (全文)...
  16. centos 7 无法查看IP地址,并且在登录虚拟机时就显示connected failed
  17. Linux下创建虚拟盘
  18. typo in word。android studio对于错误拼写/不识别的英文单词,给予波浪提示。
  19. 第三章:3ds max多边形建模
  20. vue3 diff算法优化

热门文章

  1. MySQL 的日期和时间函数
  2. 中国电信翼支付2014编程大赛决赛
  3. 怎么把视频转成gif格式?手把手教你制作表情包
  4. (附源码)小程序 法律全书的开发毕业设计280844
  5. 火山视频伪原创短视频伪原创
  6. 人体轮廓特征—运动历史图—python实现
  7. python textrank,textrank关键词提取(python)
  8. Hyperledger Indy项目(开源去中心化身份平台)、去中心化身份(DID)、分布式数字身份项目
  9. 电池充电器欧盟CE认证申请标准
  10. MyBatis Example And与Or例子