Hadoop学习5-3:HDFS回收站
- 1 回收站配置
- 2 启回收站功能参数说明
- 3 删除内容查看
- 4 回收站内容恢复
- 5 删除数据不经过回收站
- 6 回收站清空
- 7 客户端操作
开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用
1 回收站配置
在core-site.xml
文件中添加如下内容,数字单位为分钟
<property><name>fs.trash.interval</name><value>1</value>
</property><property><name>fs.trash.checkpoint.interval</name><value>1</value>
</property>
#文件分发
xsync core-site.xml
2 启回收站功能参数说明
- 默认值
fs.trash.interval=0
,0
表示禁用回收站
;其他值表示设置文件的存活时间
- 默认值
fs.trash.checkpoint.interval=0
,检查回收站的间隔时间,当回收站中的文件等超过存活时间就进行真正删除。如果该值为0
,则该值设置和fs.trash.interval
的参数值相等。 - 要求
fs.trash.checkpoint.interval <= fs.trash.interval
3 删除内容查看
通过hadoop命令:hadoop fs rm -r -f
删除一个文件后,可以看到如下信息
如上提示了删除的内容已经转移到/user/cxj/.Trash/Current
下表示配置回收站成功,,完整就是/user/删除文件时的用户名/.Trash/Current
4 回收站内容恢复
回收站其实就是一个目录,所以只需要使用 hadoop
命令进行拷贝或者移动就可以进行恢复了:Hadoop学习7:命令行操作
5 删除数据不经过回收站
配置了回收站以后,删除数据操作,相应的数据文件会放到回收站中,通过-skipTrash
去跳过回收站
hadoop fs -rm -r -f -skipTrash /input
6 回收站清空
hadoop fs -expunge
7 客户端操作
Java
删除HDFS
文件的API
:delete
,是跳过回收站进行删除,也就是直接删除就没了
uri = URI.create("hdfs://192.168.153.131:8020");
conf = new Configuration();
user = "cxj";
fs = FileSystem.get(uri, conf, user);fs.delete(new Path("/input"), true);
如果想将文件添加到回收站中,那么需要使用到Trash
对象。使用如下代码
Trash ts = new Trash(fs, conf);String s = conf.get("fs.trash.interval");ts.moveToTrash(new Path("/a.txt"));
并在resources
文件添加core-site.xml
文件并添加如下配置
<?xml version="1.0" encoding="UTF-8"?>
<?xm1-stylesheet type="text/xsl" href="configuration.xs1"?>
<configuration><property><name>fs.trash.interval</name><value>1</value></property><property><name>fs.trash.checkpoint.interval</name><value>1</value></property>
</configuration>
或者直接使用Confguration
对象进行配置
conf.set("fs.trash.interval", 1)
conf.set("fs.trash.checkpoint.interval", 1)
Hadoop学习5-3:HDFS回收站相关推荐
- Hadoop学习笔记之HDFS
Hadoop学习笔记之HDFS HDFS (Hadoop Distributed File System) 优点 缺点 HDFS操作 命令操作HDFS Web端操作HDFS Java操作HDFS HD ...
- Hadoop学习( HDFS实现分布式存储:
Hadoop 核心-HDFS 前面提过,大数据的特点是: 体量大 类型繁多 值密度低 产生和处理速度快. 当数据集的大小超过一台独立的物理计算机的存储能力时: 就必须对它进行分区并存储到若干台单独的计 ...
- Hadoop学习笔记—2.不怕故障的海量存储:HDFS基础入门
一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护->因此,迫切需要一种系统来管理多 ...
- Hadoop学习之HDFS
Hadoop学习之HDFS 1 HDFS相关概念 1.1 设计思路 分散存储,冗余备份. 分散存储:大文件被切割成小文件,使用分而治之的思想让多个服务器对同一个文件进行联合管理: 冗余备份:每个小文件 ...
- Hadoop学习笔记(四)HDFS部分下
Hadoop学习笔记(四)HDFS部分下 一.HDFS 的数据流 1.1 HDFS的写数据流程 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
- hadoop学习笔记(八):Java HDFS API
hadoop学习笔记(八):Java HDFS API 阅读目录 一.使用HDFS FileSystem详解 回到顶部 一.使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoo ...
- Hadoop学习(6)-HDFS深入理解
原文来自:扎心了,老铁的<Hadoop学习之路(九)HDFS深入理解>
- Hadoop学习之HDFS架构(一)
HDFS的全称是Hadoop Distributed File System(Hadoop分布式文件系统),是受到Google的GFS(Google文件系统)启发而设计开发出来的运行在商用主机上的分布 ...
- Hadoop学习-HDFS
Hdoop之HDFS 什么是HDFS 背景及意义 背景 随着数据量的增加,一个操作系统存不下所有数据,就需要分配到更多的操作系统磁盘中,为了方便管理和维护,需要一种系统来管理多台机器上的文件,这就是分 ...
最新文章
- Wireshark基本介绍和学习TCP三次握手
- Google谷歌首席科学家:神经网络的奇妙特性与应用
- Charles-proxy-4.2.1-win64 - 破解
- Python音频信号处理 2.使用谱减法去除音频底噪
- 彻底理解内存泄漏,memory leak
- Java讲课笔记27:RandomAccessFile与对象序列化
- Java8实战 阅读二周目感想
- css网页设计作业_运动中心网页设计作业成品
- c语言else语句,C# if…else 语句 | 菜鸟教程
- 工程项目经济评价的基本方法
- 国内顶尖团队的开源地址
- 【Python+selenium】浏览器后台运行 隐藏窗口执行
- RMS (Rights Management Services)基于SDK2.1的二次开发环境搭建
- windows无法连接到某个wifi_Win7系统提示Windows无法连接到无线网络如何解决?
- Flink standalone配置(血汗注意事项,哭唧唧)
- 内网通过映射后的公网IP访问内网服务测试--ASA842 hairpin NAT测试
- 代码: 0x80131500,Windows应用商店出现错误
- sql存储过程及应用
- 孔乙己——纪念当今的穷酸大学生们
- 溪云初起日沉阁 山雨欲来风满楼