Python实现检测文件的MD5值来查找重复文件

平时学生交上机作业的时候经常有人相互复制，直接改文件名了事，为了能够简单的检测这种作弊行为，想到了检测文件的MD5值，虽然对于抄袭来说作用不大，但是聊胜于无，以后可以做一个复杂点的。

# coding: utf8import hashlib
import os
from collections import Counter
import sysreload(sys)
sys.setdefaultencoding('utf-8')def get_md5_01(file_path):md5 = Noneif os.path.isfile(file_path):f = open(file_path,'rb')md5_obj = hashlib.md5()md5_obj.update(f.read())hash_code = md5_obj.hexdigest()f.close()md5 = str(hash_code).lower()return md5def get_md5_02(file_path):f = open(file_path,'rb')  md5_obj = hashlib.md5()while True:d = f.read(8096)if not d:breakmd5_obj.update(d)hash_code = md5_obj.hexdigest()f.close()md5 = str(hash_code).lower()return md5if __name__ == "__main__":output_list=[]#input_path=r"e:\xx\新建文件夹"#output_path = unicode(input_path , "utf8")output_path=os.getcwd()g = os.walk(output_path)  for path,dir_list,file_list in g:  for file_name in file_list:output_list.append(os.path.join(path, file_name) )md5_list= [get_md5_01(i) for i in output_list]Counter_list=Counter(md5_list)for i in Counter_list.items():if i[1] >1:duplicate_list=[ a for a in range(len(md5_list)) if md5_list[a] == i[0]]print '-'*50print i[0]for j in duplicate_list:with open('duplicate.log', mode='a+') as f:f.write(i[0]+'\t'+output_list[j]+'\n')print output_list[j]

Python实现检测文件的MD5值来查找重复文件相关推荐

php检测txt中重复数据,Python实现检测文件的MD5值来查找重复文件案例
平时学生交上机作业的时候经常有人相互复制,直接改文件名了事,为了能够简单的检测这种作弊行为,想到了检测文件的MD5值,虽然对于抄袭来说作用不大,但是聊胜于无,以后可以做一个复杂点的. # coding ...
Spring Boot——获取上传文件的MD5值解决方案
解决方案方法一: /*** 上传文件* @param file 文件* @return ResponseBean*/@ApiOperation(value = "上传文件",no ...
高效率整理电脑上的文件：清理电脑文件方案需要 -- 合理的方法 + 合适的工具如Python查找重复文件
有效管理电脑文档出发点推荐一适合大众用户的省时好用懒人方法管好文件的基础一. 数据/文件的分类二. 数据/文件存放的地方三. 数据/文件名称和文件夹名称的规范和技巧查询重复文件的工具和方 ...
如何查找重复文件并快速删除，电脑查重复文件的方法
在日常使用电脑的过程中,我们要下载.编辑.保存文件,难免会出现一些重复文件,这些重复文件不仅会给工作带来不便,也会占用硬盘宝贵的空间.因此,经常查找与清理电脑中的重复文件就显得格外重要.如何查找重复文 ...
python打包zip文件_python 解压文件，合并文件打包成zip格式文件生成MD5值
#!/usr/bin/env python #_*_encoding:utf-8 # 2018/05/29 #augustyang #2.0 ''' 解压文件,合并文件打包成zip格式文件生成MD ...
python计算文件md5值_用python计算文件的MD5值
md5是一种常见不可逆加密算法,使用简单,计算速度快,在很多场景下都会用到,比如:给用户上传的文件命名,数据库中保存的用户密码,下载文件后检验文件是否正确等.下面讲解在python中如何使用md5算法 ...
利用python实现批量修改文件的md5值
# 该.py文件与待修改文件置于同一文件夹下,操作运行即可实现功能.注意观察操作台反馈. import os import random import sys import hashlib# 获取当前 ...
c++判断文件是否被修改（获取文件的MD5值）
需求分析因为项目中需要检测一个文件是否被篡改,我采用了监测文件的MD5值. MD5,简单地来说,就是文件的"指纹".如果原始文件被修改了,那么MD5值也就会跟着发生变化,所以我们 ...
python3计算md5_python 计算文件的md5值实例
较小文件处理方法: import hashlib import os def get_md5_01(file_path): md5 = None if os.path.isfile(file_path ...

Python实现检测文件的MD5值来查找重复文件

Python实现检测文件的MD5值来查找重复文件相关推荐

最新文章

热门文章