hdfs Trash回收站配置 java操作trash不生效解决

Trash

trash位于org.apache.hadoop.fs包中，通过传入fs和conf创建

public Trash(FileSystem fs, Configuration conf) throws IOException {super(conf);this.trashPolicy = TrashPolicy.getInstance(conf, fs, fs.getHomeDirectory());
}

trash是hdfs中的回收站功能，可以将误删和需要找回的文件在自定义时间内通过/user/用户名/.Trash/路径找回。

Trash配置

添加配置 /etc/hadoop/conf/core-site.xml
fs.trash.interval中的value值单位为时间，可以自定义回收站的文件清理时间，如果value为0则默认不开启回收站

   <property>  <name>fs.trash.interval</name>  <value>1440</value>  <description>Number of minutes between trash checkpoints.  If zero, the trash feature is disabled.  </description>  </property>  <property><name>fs.trash.checkpoint.interval</name><value>1440</value></property>

hdfs shell

通过skipTrash 参数可以将不需要移入回收站的文件直接删除

hdfs dfs -rm -r -skipTrash  /

清空回收站

hdfs dfs -expunge

java操作trash

//获取conf
Configuration configuration = new Configuration();
//设置conf
configuration.set("fs.defaultFS", "hdfs://192.168.200.20:9000");
//获取fs
FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.200.20:9000"),configuration,"root");
//目标路径
String hdfsPath="/netdisk/"+userinfo.getUsername()+"/"+fileinfo.getPath();
//创建trash
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//通过传入的path将hdfs中的目标文件移入回收站
//moveToTrash返回值为boolean类型，如果为true则成功
boolean b = trash.moveToTrash(new Path(hdfsPath));
System.out.println("==============="+b+"================");

java操作trash不生效解决

在我操作trash时，moveToTrash方法总是会返回false，hdfs文件也没有删除，可能存在：
1.用户权限不足的问题，可以修改hdfs的权限或更换用户
2.java程序找不到hadoop配置的问题，我将 /etc/hadoop/conf/core-site.xml放置在java项目的resources目录下，这样程序会自动到resources目录下，找core-site.xml文件中的配置

hdfs Trash回收站配置 java操作trash不生效解决相关推荐

【大数据学习】之hdfs垃圾回收站配置
我们知道linux是没有垃圾回收站的,而hdfs同样默认是没有的,但是hdfs是可以开启垃圾回收站的. 1.我们可以登录官网,选2.8.5版本, https://hadoop.apache.org/d ...
HDFS 的Trash回收站功能的配置、使用
文件的删除和恢复和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期 ...
Hadoop Trash回收站使用指南
转载:https://blog.csdn.net/sunnyyoona/article/details/78869778 我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站: sudo ...
hdfs java操作_hdfs java操作
hdfs java操作一般操作都是shell命令,记一下java操作 package hdfs; import java.io.FileInputStream; import java.net.UR ...
Java 操作 HDFS
HDFS 作为开源界比较成熟的分布式文件存储系统,适用于海量文件存储,本文介绍了如何使用 Java 操作 HDFS,采用 Maven 管理包. pom.xml <dependency>&l ...
HDFS的Java操作
实验环境: Windows 10 Eclipse Mars.2 Release (4.5.2) CentOS 7 Hadoop-2.7.3 先决条件: 1) Windows上各环境变量已配置OK. ...
HDFS文件系统(含hdfs常用命令，java对hdfs API的简单操作)
HDFS文件系统 HDFS概念什么是HDFS HDFS的组成 HDFS文件块大小 HFDS命令行操作基本语法常用命令 Java操作hdfs 配置编译环境获取文件系统上传文件文件下载目录创 ...
HBase安装配置以及Java操作hbase
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase Apache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储. 当您需要对大数据 ...
hadoop java操作hdfs
hfds 是一种文件系统,用于存储hadoop将要处理的数据.适用于大规模分布式数据处理,是一个可扩展行的文件分布式系统: 优点 1.如果出现节点宕机,hdfs,可以持续监视,错误检查,容错处理,文档 ...