Python md5去重图片文件

因为在实习中运用到了用md5对图片进行去重，我发现Python里面直接就有封装好的库hashlib，提供常用的摘要算法，如MD5和SHA1。

摘要算法：又称为哈希算法，散列算法，简单来说就是将一系列原始的数据转化为长度固定的数据串，通常以16进制表示，从而来进行进一步的比对。例如：有一张图片1.jpg，并附上它的摘要为‘1234abcd90ad123458dfaecb12345678’，当有人又上传了一张图片2.jpg，如果这两张图片不同，那么它的摘要就会不同。

摘要算法就是通过预先设定好的函数将输入数据转化为固定长度的摘要，从而判定源数据是否被修改。

特点：（1）完全相同的一段数据，尽管命名不同，不论时间地点（加密算法相同的条件）加密出的32位的字符串完全相同。

（2）但不同的数据可能会得到相同的摘要，称为碰撞，因为是在有限的集合里映射；

（3）逆向解密过程很难，散列能力强，安全。

Example:

通过一小段Python代码来举例说明：

输入的图片文件如下：

其中包含了许多重复的文件。

代码：

import os
import hashlibdef get_md5(file):file = open(file,'rb')md5 = hashlib.md5(file.read())file.close()md5_values = md5.hexdigest()return md5_valuesfile_path = "C:\\wanjingyi\\files"
os.chdir(file_path)
file_list = os.listdir(file_path)
md5_list =[]
for file in file_list:md5 = get_md5(file)if md5 not in md5_list:md5_list.append(md5)else:os.remove(file)

执行程序后的结果：

可见，重复的图片已经被去掉了，这里用的是SHA1。

Python md5去重图片文件相关推荐

python实现批量图片/文件重命名
python实现批量图片/文件重命名 import osclass BatchRename():'''批量重命名文件夹中的图片文件'''def __init__(self):self.path = ' ...
python读取raw图片文件_python读取raw binary图片并提取统计信息的实例
python读取raw binary图片并提取统计信息的实例发布时间:2020-09-08 23:22:52 来源:脚本之家阅读:66 用python语言读取二进制图片文件,并提取非零数据统计信息 ...
【python】对图片文件命名进行相似度对比
一.首先导入模块 import difflib import os import os.path 二.设置txt文件 txt = '图片路径.txt' #将放置文件命名的txt设置三.自主输入目标文 ...
python读取raw图片文件_在python下读取并展示raw格式的图片实例
raw文件可能有些人没有,因此,先用一张图片创建一个raw格式的文件(其实可以是其他类型的格式文件) import numpy as np import cv2 img = cv2.imread('c ...
python读取raw图片文件_【IT专家】使用Python读取CR2(原始佳能图像)头。
本文由我司收集整编,推荐下载,如有疑问,请与我司联系使用 Python 读取 CR2( 原始佳能图像 ) 头. 2010/09/12 6673 I'm trying to extract the d ...
python heic后缀图片文件转换成jpg格式
参考链接: https://stackoverflow.com/questions/54395735/how-to-work-with-heic-image-file-types-in-python ...
Python 计算MD5值图片查重去重
MD5 MD5 即 Message-Digest Algorithm 5(信息-摘要算法5).摘要算法又称哈希算法.散列算法. 它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进 ...
Python批量导入图片生成PowerPoint 2007+文件
说明:本文是"Python批量爬取微信公众号文章中的图片"的后续文章,用来把从公众号批量抓取的图片还原为PowerPoint 2007文件. 使用方法:安装扩展库python-pp ...
python十行代码实现文件去重，去除重复文件的脚本
导入依赖 '''导入依赖'''from pathlib import Pathimport filecmp 函数说明 ''' filecmp.cmp(path1, path2, shallow=Tru ...

Python md5去重图片文件

Example:

Python md5去重图片文件相关推荐

最新文章

热门文章