使用Python对比两个excel表格中的重复数据

几天前，单位同事遇到一个难题，需要将两个电子表格中的数万条数据进行对比，找到其中的重复数据，电子表格也有这个功能，但是因为数据量太大，起动对比之后计算机就卡死了。

我听了他的介绍之后，告诉他，我可以用Python试一试。

于是让他把数据传给我，开始研究起来，花了1个小时终于把代码调好了，总计23行代码，结果立马呈现出来了，小有成就。

但是还是不够完美，为了让程序能够适应所有要对比的数据，并生成一个新的电子表格，陆续又做了一些改进，总计32行代码，把代码晒出来，分享一下：

from openpyxl import load_workbook, Workbook        #导入模块wb1 = load_workbook('D:\peple\excel01.xlsx')         #打开工作簿，并创建一个工作簿对象wb1
wb2 = load_workbook('D:\peple\excel02.xlsx')a_wb = wb1['导出']        #创建一个工作表对象
b_wb = wb2['导出']a_wb_max_row = len(a_wb['A'])
b_wb_max_row = len(b_wb['A'])c=[]        #建立一个空列表，用于存放对比出来的相同数据for row in a_wb.iter_cols(min_row=1, max_row=a_wb_max_row, min_col=1, max_col=1, values_only=True):    #历遍工作表对象制定区域的数值row1 = list(row)    #将元祖转换我列表
for row in b_wb.iter_cols(min_row=1, max_row=b_wb_max_row, min_col=1, max_col=1, values_only=True):row2 = list(row)for i in row1:if i in row2:   #如果包含则返回循环breakelse:       #如果不包含，则把值保存到c列表中c.append(i)wb3 = Workbook()    #创建新工作簿对象
c_wb = wb3.active   #创建活动工作表对象for i in range(len(c)):     #将列表分行写入工作表对象d=[c[i]]c_wb.append(d)wb3.save('D:\peple\mynewdata.xlsx')       #保存数据到新工作簿

使用Python对比两个excel表格中的重复数据相关推荐

Java对比两张Excel表的数据_比较两个Excel表格并提取重复数据
目标: 搜索并比较两个字段E列(表2)到E列(表1)将表2中的重复值返回到表3 显示和突出显示工作表1和2上的重复值突出显示从工作表2复制重复条目,然后添加到工作表3 如果E列(表2)= E列(表1 ...
python excel对比_日常使用————python对比两个excel表中的数据
现在有两个相同的数据集的结构,把80年和2000年两个文件夹,文件名是一样的,但文件数据是不一致的80年xls格式存储,2000年使用xlrd读取数据存储在xlsx格式,使用openpyxl读取数据, ...
超实用！使用Python快速对比两个Excel表格之间的差异
这是「活用数据」的第 11 篇原创文章主要介绍如何通过DeepDiff实现两个Excel文件数据的快速对比. 对于日常办公中需要处理数据的同学来说,有时候需要对比两个Excel表格(或者是数据库)的 ...
python怎么合并多个excel表视频_()如何用python合并两个excel表格
()如何用python合并两个excel表格 python合并excel表格视频教程2020-09-25 04:04:33人已围观 python实现excel合并 Created on Mon Mar ...
从两张Excel表格中筛选相同的值
从两张Excel表格中筛选相同的值 (表一) (表二) 1.将两个表格的编号跟姓名分别合并到同一单元格当中两个单元格之间用&拼接 =A2&B2 (表一) =A2&B2 (表二 ...
【Python数据分析】利用Python替换EXCEL表格中指定的数据
如何利用Python替换EXCEL表格中指定的数据?今天与大家一起分享一下DataFrame对象的replace()函数,replace()函数可EXCEl中的数据内容,其语法格式如下: 表达式.re ...
Excel表格中重要的数据如何隐藏不显示
Excel表格中重要的数据如何隐藏不显示目录 Excel表格中重要数据值如何隐藏不显示 1.选中需要隐藏的单元格数值 2.鼠标右键点击"设置单元格格式" 3.点击"自 ...
matlab标准化处理Excel数据,matlab一组数据归一化后数据 | 在excel表格中如何对数据进行归一化处理...
请问在excel里可以直接做归一化处理吗归一化是一种计算的方式,即将纲的表达式,经换,化为纲的表达式,成为标量. 在多种计算中都经常用到这种方法. 归一化是一种无量纲处理手段,使物理系统数值的绝对值 ...
使用pycharm去掉表格中的重复数据
使用pycharm去掉表格中的重复数据接下来几篇文章为复盘前段时间数据分析的随笔如何用pycharm去掉表格中重复数据呢? 1.安装pycharm 详细安装及配置Python环境过程: https ...
python与excel的区别-python比较两个excel表格的差异
一个同事有两个excel表格要比较差异, 找了一下有相关软件,如: beyond compare, excel compare 但这两个似乎都是直接排序再比较的. 然后没办法,就用python折腾了一 ...

使用Python对比两个excel表格中的重复数据

使用Python对比两个excel表格中的重复数据相关推荐

最新文章

热门文章