shell 删除了hdfs 文件,在HDFS上删除超过10天的文件

Is there a way to delete files older than 10 days on HDFS?

In Linux I would use:

find /path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \;

Is there a way to do this on HDFS? (Deletion to be done based on file creation date)

解决方案

Solution 1: Using multiple commands as answered by daemon12

hdfs dfs -ls /file/Path | tr -s " " | cut -d' ' -f6-8 | grep "^[0-9]" | awk 'BEGIN{ MIN=14400; LAST=60*MIN; "date +%s" | getline NOW } { cmd="date -d'\''"$1" "$2"'\'' +%s"; cmd | getline WHEN; DIFF=NOW-WHEN; if(DIFF > LAST){ print "Deleting: "$3; system("hdfs dfs -rm -r "$3) }}'

Solution 2:

Using Shell script

today=`date +'%s'`

hdfs dfs -ls /file/Path/ | grep "^d" | while read line ; do

dir_date=$(echo ${line} | awk '{print $6}')

difference=$(( ( ${today} - $(date -d ${dir_date} +%s) ) / ( 24*60*60 ) ))

filePath=$(echo ${line} | awk '{print $8}')

if [ ${difference} -gt 10 ]; then

hdfs dfs -rm -r $filePath

done

shell 删除了hdfs 文件,在HDFS上删除超过10天的文件相关推荐

Facebook图片存储系统Haystack——存小文件，本质上是将多个小文件合并为一个大文件来降低io次数，meta data里存偏移量...
转自:http://yanyiwu.com/work/2015/01/04/Haystack.html 一篇14页的论文Facebook-Haystack, 看完之后我的印象里就四句话: 因为[传统文 ...
怎样上传超过20G的大文件到网盘？
我发现winrar这个压缩文件也是有这个选项的,切为分卷. 摘自:https://jingyan.baidu.com/article/77b8dc7facbbcc6175eab665.html 怎样上 ...
linux如何删除指定大小以下的文件夹,Linux中定时删除超过指定大小的文件夹
背景: 开发环境总是动不动就没有空间了, 大部分都是debug日志.所以有必要在日志很疯狂的时候,删除不必要的日志. 思路:一. 书写删除日志文件脚本: 定时任务执行. 但是有时候的日志是需要保存用 ...
ubuntu在 hdfs上创建一个文件夹_NAS上如何创建和使用加密文件夹？
共享文件夹是一个网络存储空间.您可以建立数个共享文件夹来存放不同类别的数据,或提供给不同的用户或用户群组来存取文件. 一旦加密共享文件夹被创建后,只有管理员将该共享文件夹装载,文件夹内的内容才可以被打 ...
ajax可以发送文件,通过Ajax上传img时如何发送文件信息
我正在尝试拆分上传到ajax方法的图像文件.所有的html和JS都在一个文件中,然后我组成了一个包含所有PHP的PHP文件. 我正在努力的是,我不确定如何将图像文件信息发送到php文件,然后如何使其余 ...
GitHub上传超过100M的单个文件（包括处理和解决）
版权声明:本文为博主原创文章,版权均归本人所有,任何人或团体.机构全部转载或者部分转载.摘录,请保留本博客链接或标注来源.博客地址:https://blog.csdn.net/qq_31285709/ ...
文件传服务器上全是乱码,解决txt文件上传oss服务器乱码的问题
今天上传txt文件下载下来却乱码,搞了一下午,发现还挺复杂.记录一下. 1.首先服务器只接受utf-8格式的文件,所以首先想到的就是转码问题. 这是网上很容易就找到的判断文件编码的代码.判断出来之后如 ...
如何在Windows cmd上递归删除文件或文件夹？批量删除指定大小的图片文件
如何在Windows cmd上递归删除文件或文件夹? for /r %R in (.gif) do if exist %R (rd /s /q "%R") / q禁用是/否提示 / ...
linux上删除一个目录以及其下文件
rm [options] 文件夹名称参数 -i 删除前逐一询问确认 -f 即使原档案属性设为唯读,亦直接删除,无需逐一确认 r 将目录及以下之档案亦逐一删除删除当前目录下所有文件和目录: rm - ...

shell 删除了hdfs 文件,在HDFS上删除超过10天的文件

shell 删除了hdfs 文件,在HDFS上删除超过10天的文件相关推荐

最新文章

热门文章