Dataframe两列值去重

有时候处理数据的时候会遇到这样的情况，尽管两列合在一起后表达的意思一样，但无法直接把他们去重

因此我们可以在去重前多进行一步，把两列数据合并成 list 后去重，再把他们分开

# 1.合并数据，转换成 list
df['ls'] = list(map(lambda x,y:[x,y],df['a_attr_single'],df['b_attr_single']))
# 2.对 list 里的数据进行排序处理
df['ls'] = df['ls'].apply(lambda x:','.join(sorted(x)))
# 3. 删除被合并的两列
df.drop(columns=['a_attr_single', 'b_attr_single'], inplace=True)
# 4. 去重
df = df.drop_duplicates()
# 分开list里的数据值
df['attr1'], df['attr2'] = df['ls'].str.split(',', 1).str

Output

Dataframe两列值去重相关推荐

pandas计算dataframe两列数据值相等的行号、取出DataFrame中两列值相等的行号
pandas计算dataframe两列数据值相等的行号.取出DataFrame中两列值相等的行号目录 pandas计算dataframe两列数据值相等的行号.取出DataFrame中两列值相等的行号
sql 数据库前两列值乘_Sql语句常用关键字
最近接触sql比较多,发现自己已经遗忘的也差不多,要用到的时候迟迟拿不出来,今天开始会在知乎上纪录一些sql语句学习的内容,内容重在说明查询语句的用法. 一.sql查询语句的初始介绍 1.查询语句的一 ...
sql 数据库前两列值乘_SQL | SQL 必知必会笔记（一）
原文:SQL | SQL 必知必会笔记 (一 ) 作者: PyStaData 基本概念一些规则多条 SQL 语句必须以分号分隔. SQL 不区分大小写,但一般习惯关键字用大写,列名和表名使用小写. ...
pandas dataframe 两列转字典
在数据处理时,时常需要将数据表的两列转化为字典映射形式 df[['A','B']] -----> dict(key:A, value:B) 方法一:使用zip d = dict(zip(df[' ...
sql 数据库前两列值乘_与开发battle有点虚？小白都能看懂的数据库知识来了
文末领取[SQL面试题及答案] 随着近几年AI智能,大数据的发展,"产品经理是是否需要懂技术?""产品经理应该对技术理解到什么程度?"诸如此类的问题又再次出现在 ...
python中where函数_如何在python中基于Where函数获取两列值
问题是: 基于user_id列,我想得到rating和{}列的值.可能有多个条目具有相同的用户标识.我希望获取具有rating和product_id列值的所有用户记录,但对于用户未对电影进行评级的电影 ...
sql 数据库前两列值乘_懂EXCEL就会SQL，从此查数不求人
小白如何学习SQL语言? 大部分的文章都是先从意义原理开始讲,再讲环境搭建.还没看到怎么操作就放弃了. 大部分人学习SQL的需求是什么? 而且,大多数人的使用场景是数据库是现成的,这就不涉及数据库的安 ...
df 取某两列值不一致的行
例如我要取df_external的df_external['label'] != df_external['groundtruth'] 的行必须保证作比较的这两列的数据类型一样也就是label ...
sql 数据库前两列值乘_数据库的基本概念：
数据库的相关概念: 数据-data: 1.描述事物的符号 2.多种表现形式:文本,图形,音频,视频. 数据库-Database,DB 1.粮库,车库 2.存放数据的仓库在计算机中,按照一定的格式存放, ...

Dataframe两列值去重

Dataframe两列值去重相关推荐

最新文章

热门文章