python移除系统多余大文件

文件多了乱放，突然有一天发现硬盘空间不够了，于是写了个python脚本搜索所有大于10MB的文件，看看这些大文件有没有重复的副本，如果有，全部列出，以便手工删除

使用方式加一个指定目录的参数

比如python redundant_remover.py /tmp

主要用到了stat模块，os、sys系统模块

import os, sys
#引入统计模块
from statimport *
BIG_FILE_THRESHOLD= 10000000L
dict1= {}   # filesize 做 key, filename 做 value
dict2= {}    # filename 做 key, filesize 做 value
def treewalk(path):try:for iin os.listdir(path):mode= os.stat(path+"/"+i).st_modeif S_ISDIR(mode) <>True:filename= path+"/"+ifilesize= os.stat(filename).st_sizeif filesize > BIG_FILE_THRESHOLD:if filesizein dict1:                      dict2[filename]= filesizedict2[dict1[filesize]]=filesizeelse:dict1[filesize]= filename                 else:treewalk(path+"/"+i)except WindowsError:pass
def printdict(finaldict):for i_sizein finaldict.values():print i_sizefor j_namein finaldict.keys():if finaldict[j_name]== i_size:print j_nameprint "\n"
if __name__=="__main__":treewalk(sys.argv[1])printdict(dict2)

python移除系统多余大文件相关推荐

python读取大文件-Python如何读取、拆分大文件
简述最近和第三方数据接触较多,数据量也开始陡增,从一开始的1KW行,最大到了1亿行,这让我这个常年处理"小数据'的人有点捉襟见肘.本来数据放在hive中也是可以操作的,但是有时候需求是做一 ...
如何在Python中便宜地获取大文件的行数？
我需要在python中获取一个大文件(数十万行)的行数. 内存和时间最有效的方法是什么? 目前,我这样做: def file_len(fname):with open(fname) as f:for ...
Git从库中移除已删除大文件
写在前面大家一定遇到过在使用Git时,不小心将一个很大的文件添加到库中,即使删除,记录中还是保存了这个文件.以后不管是拷贝,还是push/pull都比较麻烦.今天在上传工程到github上,发现最大 ...
Python read,readline,readlines和大文件读取
原本,我觉得read,readline,readlines比较简单,没什么好说的,本没打算要单独说一说的,但是在一次面试的时候,面试官问到了这个问题,但我并没有回答的很好,在面对大文件时的处理,没有给 ...
如何用python最快的获取大文件的最后几行
工作中经常会遇到处理日志文件的问题:为了得到日志的最新状态,我们需要获取日志文件的最后部分行来做判断.那么,这种情况下我们应该怎么做呢? 1)常规方法:从前往后依次读取步骤:open打开日志文件. ...
windows系统复制大文件提示对于目标文件系统过大的解决方案
问题场景: 当我们把一个大文件或压缩移入到一个盘(u盘或硬盘)里,提示对于目标文件系统过大无法移动,就是该盘的文件系统导致的,转换为NTFS即可! 方案一(建议使用): 1.windows+R来打开c ...
Python一行命令实现5G大文件快速传输（Windows Linux Mac）
前言之前需要在局域网下获取一个5G左右的ISO文件,U盘发现格式文件为FAT,不能存储单个4G文件,于是想到了之前的这个命令,挺简单方便快捷,一分钟传输下载完成. A电脑在需要传送的文件夹下: py ...
Python删除酷狗多余音乐文件
本人听歌基本都用酷狗音乐,有个版本可以一键升级音质,就点了升级,原以为会把原来的.mp3文件覆盖,谁知道是重新下载,所以升级成功的音乐就有.mp3和.ape(升级后的文件)两个文件,极大的占用了我的电 ...
android 12系统蓝牙传输大文件比较慢
1,修改蓝牙的波特率这个改3000000能提高一点速度,蓝牙本来速度都很慢,最多也就200k左右速度 diff --git a/hardware/broadcom/libbt/include/vnd ...

python移除系统多余大文件

python移除系统多余大文件相关推荐

最新文章

热门文章