python去重语句_Python Dataframe 指定多列去重、求差集的方法

1）去重

指定多列去重，这是在dataframe没有独一无二的字段作为PK（主键）时，需要指定多个字段一起作为该行的PK，在这种情况下对整体数据进行去重。

Attention：主要用到了drop_duplicates方法，并设置参数subset为多个字段名构成的数组。

具体代码如下：

>>>import pandas as pd

>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}

>>>frame=pd.DataFrame(data)

>>>frame

popstate

0a1

1b1

2c2

3d2

4b1

5c2

6d2

>>>frame.drop_duplicates(subset=['pop','state'])

popstate

0a1

1b1

2c2

3d2

2）求差集

假设有两个dataframe为a和b，a和b可以是相互包含的关系，现在想要将a中和b重复的内容去掉，也就是求差集，步骤如下：

（1）需要对两个dataframe进行去重。

（2）利用append方法，a=a.append(b)

（3）再次利用append方法，a=a.append(b)

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及设置参数keep=False，意思就是只要有重复，重复的记录都去掉。（keep默认=’first’,也就是保留第一条记录）

具体代码如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}

>>>data_b={'state':[1,2,3],'pop':['b','c','d']}

>>>a=pd.DataFrame(data_a)

>>>a

popstate

0a1

1b1

2c2

>>>b=pd.DataFrame(data_b)

>>>b

popstate

0b1

1c2

2d3

>>>a = a.append(b)

>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)

>>>result

popstate

0a1

以上这篇Python Dataframe 指定多列去重、求差集的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。

您可能感兴趣的文章:Python实现嵌套列表及字典并按某一元素去重复功能示例Python实现的txt文件去重功能示例对python中两种列表元素去重函数性能的比较方法python对excel文档去重及求和的实例Python对多属性的重复数据去重实例Python实现嵌套列表去重方法示例Python做文本按行去重的实现方法python 高效去重复支持GB级别大文件的示例代码

python去重语句_Python Dataframe 指定多列去重、求差集的方法相关推荐

python concat去除重复值语句_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...
摘要在进行数据分析时,我们经常需要对DataFrame去重,但有时候也会需要只保留重复值. 这里就简单的介绍一下对于DataFrame去重和取重复值的操作. 创建DataFrame 这里首先创建一个 ...
python duplicated函数_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...
Python DataFrame使用drop_duplicates()函数去重(保留重复值,取重复值) 摘要在进行数据分析时,我们经常需要对DataFrame去重,但有时候也会需要只保留重复值. 这 ...
python去重保留唯一一个值_Python DataFrame使用drop_duplicates()函数去重(保留重复值，取重复值)...
摘要在进行数据分析时,我们经常需要对DataFrame去重,但有时候也会需要只保留重复值. 这里就简单的介绍一下对于DataFrame去重和取重复值的操作. 创建DataFrame 这里首先创建一个 ...
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象、使用[]操作符和列名称访问dataframe指定数据列的数据(dataframe column data)
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象.使用[]操作符和列名称访问dataframe指定数据列的数据(dataframe column data) 目录 R语言使用多个 ...
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象、使用$操作符和列名称访问dataframe指定数据列的数据
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象.使用$操作符和列名称访问dataframe指定数据列的数据目录 R语言使用多个数据类型不同的向量数据创建一个dataframe ...
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象、使用[]操作符和列索引数值访问dataframe指定数据列的数据(column index)
R语言使用多个数据类型不同的向量数据创建一个dataframe数据对象.使用[]操作符和列索引数值访问dataframe指定数据列的数据(column index) 目录 R语言使用多个数据类型不同的 ...
【Python数据分析】利用Python删除EXCEL表格中指定的列数据或行数据
如何利用Python删除EXCEL表格中指定的列数据?今天与大家一起分享一下DataFrame对象的drop()函数,drop()函数可根据标签删除EXCEL表格中的列数据或行数据,其语法格式如下: ...
pandas使用extract函数根据正则表达式从dataframe指定数据列的字符串中抽取出数字并生成新的数据列(extract numbers from column)
pandas使用extract函数根据正则表达式从dataframe指定数据列的字符串中抽取出数字并生成新的数据列(extract numbers from column and generate n ...
pandas使用replace函数将dataframe指定数据列中的特定字符串进行自定义替换（replace substring in dataframe column values）
pandas使用replace函数将dataframe指定数据列中的特定字符串进行自定义替换(replace substring in dataframe column values) 目录

python去重语句_Python Dataframe 指定多列去重、求差集的方法

python去重语句_Python Dataframe 指定多列去重、求差集的方法相关推荐

最新文章

热门文章