Python实现Excel表格数据去重

Python实现Excel表格数据以指定列去重

import pandasfile_path="4.2.xlsx"
sheet_1='fpy-01'
fpy_01=pandas.DataFrame(pandas.read_excel(file_path,sheet_1))
# data = pd.DataFrame(pd.read_excel('test.xls', 'Sheet1'))
# 查看是否有重复行
re_row = fpy_01.duplicated()
print(re_row)# 查看去除重复行的数据
no_re_row = fpy_01.drop_duplicates(subset=['mo_no','serial_nbr','plant','part_build_date','cqas_station'],keep='first',inplace=False)
# no_re_row = fpy_01.drop_duplicates(subset=['mo_no'],keep='first',inplace=None)
print(no_re_row)
no_re_row.to_excel("4.2(副本).xlsx")
print("去重完成！")# ######################################
# ##### 去除Excel表格数据中重复行
# ######################################
# import pandas as pd
# import numpy as np
# file_path='MI FPY OOB UAT 4.2.xlsx'
# df_excel = pd.read_excel(file_path)
# print('数据量行*列',df_excel.shape)
# # # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存，无表头
# print('数据集中存在重复观测的数量：\n',np.sum(df_excel.duplicated()))       #F为不存在，T为存在，用sum显示重复的数量
# print('删除行重复后的数据\n',df_excel.drop_duplicates(subset=['B','R','T','V','AG'],keep='first',inplace=True))   #excel文件中设定第一和第二行为重复行，结果删除了第二行保留第一行
# ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
# #### 代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
# #####keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
# #####inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本
# print('数据集列中是否存在缺失值：\n',df_excel.isnull().any())       #F为不存在，T为存在
# print('每一行的缺失值个数：',df_excel.isnull().sum(axis=1))
# print('每一列的缺失值个数：',df_excel.isnull().sum(axis=0))
# ####### df.isnull().sum(axis=0)每一列的缺失值个数
# #####df.isnull().any()则会判断哪些”列”存在缺失值
# df=df_excel.dropna()
# print(df_excel.dropna(thresh=5))
# # #axis=0: 删除包含缺失值（NaN）的行
# # #axis=1: 删除包含缺失值（NaN）的列
# # # how=‘any' :要有缺失值（NaN）出现删除
# # # how=‘all': 所有的值都缺失（NaN）才删除
# # 还有一个thresh参数
# # # thresh=n，保留至少有 n 个非 NaN 数的行
# ######drop用法
# print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列
# print(df_excel.drop([0],axis=0))#按照行删除0这一行
# # no_re_row.to_excel("test2.xls")
###################################################

Python实现Excel表格数据去重相关推荐

python读取excel表格数据
python操作excel主要用到xlrd和xlwt两个库,xlrd读取表格数据,支持xlsx和xls格式的excel表格:xlwt写入excel表格数据一.python读取excel表格数据 1. ...
遇到“脏乱差”的Excel数据怎么办？？利用Python规范Excel表格数据（数据清洗）
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉. 本文章纯野生,无任何借鉴他人文章及抄袭等.坚持原创!! 1. 前言本文章主要介绍利用Python去规范Exc ...
python导入excel表格-Python 将Excel表格数据导入MySQL数据库
今天分享一个刚刚完成的Python脚本,一个实用的小技能,就是利用Python代码,将EXCEL表格数据导入到MySQL数据库中!话不多说,下面代码示例. Excel表格数据.jpg 1示例代码: i ...
python提取excel表格数据
文章目录一.说明: 二.带着我发现的来个问题,寻找解决方法: 0.安装模块`xlrd` 1.解决哪一行是开始的行的问题: 2.解决,表格中有合并单元格的问题: 3.结合1和2的问题解决,弄个自动化识 ...
Python｜excel表格数据一键转json格式小工具｜支持xlsx、xls格式转json｜【源码+解析】
背景最近在使用JavaScript编写一些浏览器RPA脚本,脚本使用过程中遇到一些问题,脚本使用的数据往往存放在excel表,但运行时只能读取json数据,导致频繁人工excel转json,效 ...
python读excel表格数据绘制图表_Python读取Excel数据生成图表 v2.0
原博文 2020-06-15 15:09 − ## Python读取Excel数据生成图表 v2.0 ## 一.需求背景自己一直在做一个周基金定投模拟,每周需要添加一行数据,并生成图表.以前一直是用 ...
python处理excel表格数据-利用Python处理和分析Excel表中数据实战.doc
利用Python处理和分析Excel表中数据实战 [利用python进行数据分析--基础篇]利用Python处理和分析Excel表中数据实战原创 2017年06月28日 15:09:32 标签: p ...
pythonexcel汇总_用python汇总excel表格数据-怎样用python遍历表格中的内容
如何用python将数据写入excel表格 # 需 xlrd-0.9.2 xlutils-1.7.1 这两个模块 from xlwt import Workbook, Formula import ...
python处理excel表格数据-零基础使用Python读写处理Excel表格的方法
引由于需要解决大批量Excel处理的事情,与其手工操作还不如写个简单的代码来处理,大致选了一下感觉还是Python最容易操作. 安装库Python环境首先当然是配环境,不过选Python的一个重要 ...
python写入excel表格数据绘制图表_(原创)xlsxwriter，python excel 写入数据\图表等操作_图表操作(二）...
前面分享了使用xlsxwriter创建excel和写入数据GUC:(原创)xlsxwriter,python excel 写入数据\图表等操作_创建.写入(一)zhuanlan.zhihu.com ...

Python实现Excel表格数据去重

Python实现Excel表格数据以指定列去重

Python实现Excel表格数据去重相关推荐

最新文章

热门文章