Python 去重csv文件中相同的重复行
读取CSV
读取CSV文件由两种方式:
第一种
import csvwith open(‘data.csv’,‘r’,encoding = ‘utf8’) as fp: reader = csv.reader(fp) for row in reader: print(row)
第二种
import pandas as pd #需要导入pandas库df = pd.read_csv(‘data.csv’)print(df)
用pandas库的.drop_duplicates函数
1 import shutil
2 import pandas as pd
3
4
5 frame=pd.read_csv(‘E:/bdbk.csv’,engine=‘python’)
6 data = frame.drop_duplicates(subset=[‘名称’], keep=‘first’, inplace=False)
7 data.to_csv(‘E:/baike.csv’, encoding=‘utf8’)
通常会分为两种情况,一种是去除完全重复的行数据,另一种是去除某几列重复的行数据,就这两种情况可用下面的代码进行处理。
- 去除完全重复的行数据
data.drop_duplicates(inplace=True)
2. 去除某几列重复的行数据
data.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)
subset: 列名,可选,默认为None
keep: {‘first’, ‘last’, False}, 默认值 ‘first’
first: 保留第一次出现的重复行,删除后面的重复行。
last: 删除重复项,除了最后一次出现。
False: 删除所有重复项。
inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。
( inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。)
DataFrame.drop_duplicates(subset = None, keep = ‘first’)
DataFrame.drop_duplicates()中的参数完全实现。
其中subset这个参数默认‘None’是指选择所有列,即所有列的值都相同我才认为这两行是重复的,
也可以自定义为其中一部分列变量名,比如subset=[‘name’,‘sex’,‘age’]。
keep参数中’first’和‘last’会根据index的前后产生不同的效果。参数False会去除所有重复行。
举个栗子:
name sex age
0 coco female 7
1 lily female 7
2 joe male 15
3 coco female 7
DataFrame.drop_duplicates(subset = None, keep = ‘first’),产生的结果如下:
name sex age
0 coco female 7
1 lily female 7
2 joe male 15
若使用代码DataFrame.drop_duplicates(subset = None, keep = ‘last’),结果如下:
name sex age
1 lily female 7
2 joe male 15
3 coco female 7
发现不考虑index以及行的顺序,效果与参数first相同。
若使用代码DataFrame.drop_duplicates(subset = None, keep = False), 则把相同的行全部删除,结果如下:
name sex age
1 lily female 7
2 joe male 15
所有重复的行都被删除,没有保留。
若使用代码DataFrame.drop_duplicates(subset = [‘sex’ , ‘age’] , keep = False), 结果如下:
name sex age
2 joe male 15
Python 去重csv文件中相同的重复行相关推荐
- python对csv去除重复行_Python 去重csv文件中相同的重复行
读取CSV 读取CSV文件由两种方式: 第一种 import csvwith open('data.csv','r',encoding = 'utf8') as fp: reader = csv.re ...
- python获取股指_用Python读取csv文件中的沪深300指数历史交易数据
保存路径:D:\python\用Python读取csv文件中的沪深300指数历史交易数据 程序名称:readcsvhs300.py: 数据名称:沪深300指数历史交易数据.csv: 开发环境:Win7 ...
- python怎么读取csv的一部分数据_python批量读取csv文件 如何用python将csv文件中的数据读取成数组...
如何用python把多个csv文件数据处理后汇总到新csv文件你看这月光多温柔,小编转头还能看见你,一切从未坍塌. 可以用pandas读取数据,首先把文件方同一个文件价里,然后对当前文件价的所有内容循 ...
- python对csv文件中的数据进行分类_python 数据处理 对csv文件进行数据处理
数据如下图: 用python对数据进行处理: #读取csv文件内容并进行数据处理 import os import csv import datetime import re from itertoo ...
- python统计成绩数据中如何去掉表头,python 从 CSV 文件中删除表头
假设你有一个枯燥的任务,要删除几百 CSV 文件的第一行.也许你会将它们送入一个自动化的过程,只需要数据,不需要每列顶部的表头.可以在 Excel 中打开每个文件,删除第一行,并重新保存该文件,但这需 ...
- python获取csv文件中某一列或者某些列
把三个csv文件中的feature值整合到一个文件中,同时添加相应的label. # -*-coding:utf-8 -*- import csv; label1 = '1' label2 = '2' ...
- Python基础——csv文件中某列数据替换为数字
csv文件中某列数据替换为数字 来源--机器学习读取数据 方法一:正则表达式,replace() import pandas as pd data = pd.read_csv("data2. ...
- python对csv文件中的数据进行分类_使用Python读取csv文件并进行分类存储
同学叫我帮忙用Python做csv表格分类,整理一下遇到的问题及解决方案 原生数据文件TEST.csv: 如图我需要根据G列内容,分别对A,B,C进行分类到A.csv,B.csv,C.csv 上代码, ...
- 用python对CSV文件中的数据进行统计分析
在目前的数据分析领域,常用的分析工具有excel.python等,这几乎已经成为共识,而面对excel和python,谁更适合数据分析,也确实一直被大家讨论. Excel VS Python exce ...
最新文章
- 图解Android - 如何看Android的UML 图?
- NYOJ 108 士兵杀敌(一)
- mysql 存储过程与存储函数
- 爬虫解析利器PyQuery详解及使用实践
- 监听某个区域滚动_监听页面滚动及滚动到指定位置
- 使用supervisor使Laravel的queue保持后台常驻
- 关于jQuery引用版本问题
- Netty简单样例分析[转]
- 135编辑器点击换图html,135编辑器如何换图片 135编辑器使用教程
- 《信号与线性系统分析》学习心得
- illustrator插件-拼版功能开发-印前角线-js脚本开发-ai插件
- 无线桥接dns服务器未响应,小米路由器AX3600恢复出厂设置的方法
- 八篇深度学习的开山巨作
- 北京国际学校IB考试均分稳得一匹,IB考试结果揭秘
- Centos7.5安装Chrome浏览器
- 持安科技CEO何艺:零信任在实战攻防演练中的价值
- 自动计数报警器c语言程序,计数报警器电路设计方案汇总(多款模拟电路设计原理图详解)...
- 今日头屏app v1.0.80
- json vue 出现次数_Vue 如何从两个 JSON 中遍历数据, 根据相同的 Key 为 DOM 赋值?
- vostro3470装win7_戴尔(dell)成就3470台式机装win7系统及bios设置(支持