Hadoop之回收站
一、回收站简介:
在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复。
可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。
二、实例:
Hadoop的回收站trash功能默认是关闭的,所以需要在core-site.xml中手动开启。
1、修改core-site.xml,增加:
<property> <name>fs.trash.interval</name> <value>1440</value> <description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled. </description> </property>
默认是0,单位是分钟,这里设置为1天。
删除数据rm后,会将数据move到当前文件夹下的.Trash目录。
2、测试
1)、新建目录input
hadoop/bin/hadoop fs -mkdir input
2)、上传文件
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input
3)、删除目录input
[root@master data]# hadoop fs -rmr input Moved to trash: hdfs://master:9000/user/root/input
4)、查看当前目录
[root@master data]# hadoop fs -ls Found 2 items drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash
发现input删除了,多了一个目录.Trash
5)、恢复刚刚删除的目录
[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input
6)、查看恢复的数据
[root@master data]# hadoop fs -ls input Found 2 items -rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01 -rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02
7)、删除.Trash目录(清理垃圾)
[root@master data]# hadoop fs -rmr .Trash Deleted hdfs://master:9000/user/root/.Trash
转载于:https://www.cnblogs.com/Richardzhu/p/3652228.html
Hadoop之回收站相关推荐
- Hadoop Trash回收站使用指南
转载:https://blog.csdn.net/sunnyyoona/article/details/78869778 我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站: sudo ...
- hadoop清理回收站
Hadoop回收站trash,默认是关闭的. 修改conf/core-site.xml,增加 <property> <name>fs.trash.interval</na ...
- Hadoop垃圾回收站与YARN日志聚合
垃圾回收站 在HDFS里,回收站功能开启后,删除文件时,不会真正的删除,暂时是放入回收站.trash中,回收站里的文件可以快速恢复.可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站 ...
- Hadoop 回收站
一.回收站简介: 在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复. 可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文 ...
- Hadoop回收站机制
1.简介 在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复. 可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文件才会被 ...
- hadoop强制删除
hadoop忽略回收站删除指定目录或文件/dir hadoop fs -rmr -skipTrash /dir 转载于:https://blog.51cto.com/maoxiaoxiong/2370 ...
- 记录一次hadoop的空间清理
使用CDH遇到机器并没有跑什么生产项目,但是产生了将近300G/每个节点的数据. 过程中使用hadoop fs -du -h / 来查看hadoop根目录下文件的空间占用量,在这里看到spark占用了 ...
- 【博学谷学习记录】超强总结,用心分享 | 狂野大数据Hadoop的搭建~个人学习复习记录~PART-01
前提:Hadoop集群搭建方案,这里要搭建HDFS和Yarn集群 HDFS: NameNode:node1 SecondaryNameNode:node2 DataNode:node1.node2.n ...
- Linux下安装配置各种软件和服务
1. JDK 1.1. 解压Linux版本的JDK压缩包 yum -y install glibc.i686 #安装jdk源glibc(需要联网下载源) mkdir /usr/local/src/jd ...
最新文章
- 卷积神经网络新手指南之二
- mac composer 使用
- linux ubuntu 虚拟机中配置samba的实现文件共享的方法
- 转:Linux查看CPU信息、机器型号等硬件信
- javascript闭包简单实例
- hdu3367 Pseudoforest
- SQL SERVER data tier application 的作用及如何使用SSDT进行SQL数据库的自动化部署到生产环境和版本控制
- 拼多多2018校招内推编程-大整数相乘
- zend studio结合xdebug、xdebug-help(chrome插件)调试PHP程序
- 【Android】Android 封装 Http 请求工具
- LLVM学习笔记----clang、llvm-as、llvm-dis、llc、 llvm-link、lli
- 服务器美国视频网站吗,美国服务器可以做视频网站吗
- 2.什么是机械设计?
- 【GDOI2019Day1模拟2019.4.28】爱乐之城
- Golang库 - viper读取配置文件
- 【MySql】windows下重置数据库密码
- 低码框架 json-script-rule 主子表
- JAVA应用程序转换为Applet
- vue-quill-editor之图片上传、大小缩放及内容粘贴、长度限制
- 微信开发者工具---仿支付宝首页