pandas去除重复列

OUTLINE

数据准备
问题描述
解决方案

数据准备

假设我们目前有两个数据表：
① 一个数据表是关于三个人他们的id以及其他的几列属性信息

import pandas as pd
import numpy as np
data = pd.DataFrame(np.random.randint(low=1,high=20,size=(3,4)))
data['id'] = range(1,4)
# 输出：其中，最左边的0 1 2 为其索引

② 另外一个数据表是3个用户的app操作日志信息，一个人会有多条app操作记录

sample = pd.DataFrame(np.random.randint(low=1,high=9,size=(7,1)),columns=['hhh'])
sample['id'] = [1,1,2,2,3,3,3]
# 输出：

问题描述

① 首先我们需要统计每个用户app操作记录数，比如上表可以看出用户id为1的用户有2条操作记录，用户id为3的用户有3条操作记录

s = sample.groupby('id').count()
# 输出：

② 此时，S是一个以id为索引，count出来的记录数为value的Series结构。因为考虑到后面我们需要id列进行merge，所以我们需要让id列从索引列变成真实的一列。

s = s.reset_index()
# 输出：

③ 将S与最上的data表进行merge，我们不想要看到重复的id列，甚至我们也可以将问题延伸为S与data表不止是id列的重复，还有好多条其他的列的重复，那么如何保证将它们merge之后没有重复列呢？

解决方案

第一想法是用 DataFrame.drop(‘列名’) 或者用 del DataFrame[‘列名’]
但是如果用该方法，会删除掉所有的重复列，而达不到我们的要求。

办法是：
参考StackOverflow解答

cols_to_use = s.columns.difference(data.columns) # pandas版本在0.15及之上的都可以用这种方法，该方法找出S和data表的不同列，然后再进行merge
pd.merge(data, s[cols_to_use], left_index=True, right_index=True, how='outer')

pandas去除重复列相关推荐

sqlserver 去除重复列 [行]
有重复数据主要有一下几种情况: 1.存在两条完全相同的纪录这是最简单的一种情况,用关键字distinct就可以去掉 example: select distinct * from table(表名) ...
sql查询语句去除重复列（行）
有重复数据主要有一下几种情况: 1.存在两条完全相同的纪录这是最简单的一种情况,用关键字distinct就可以去掉 example: select distinct * from t ...
mysql如何实现全外连接并去除重复列？
MySQL如何实现全连接,并将冗余的列合并在一起 ent_name a_attr1 a_attr2 a_attr3e1 5 6 2020.1.2e2 8 9 2020.2.6e4 4 3 2019.1 ...
pandas去除两列中同一行有相同元素的数据——数据分析必备技能(5)
废话不多说,直接跟小编进入今天的正文. 假设现在有一数据集,如下: import pandas as pdname = ['bob', 'mike','lisa','jay','alen','book ...
mysql sql 去除重复行_SQL查询语句去除重复行
1.存在两条完全相同的纪录这是最简单的一种情况,用关键字distinct就可以去掉 select distinct * from table(表名) where (条件) 2.存在部分字段相同的纪录 ...
python统计excel中重复数据_Python中用pandas对标Excel自带功能——去除重复项
经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死.后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器-- pandas 前言有时候数据中出 ...
Pandas之drop_duplicates：去除重复项
前言本文,我们讲述Pandas如何去除重复项的操作,我们选择一个评价数据集来演示如何删除特定列上的重复项,如何删除重复项并保留最后一次出现,以及drop_duplicates的默认用法方法 Dat ...
Pandas 模块-操纵数据(8)-去除重复行 .drop_duplicates()
目录 8. 去除重复行 .drop_duplicates() 8.1 .drop_duplicates() 语法 8.1.1 .drop_duplicates() 语法结构 8.1.2 .drop_d ...
pandas数据分析实战之去除重复值
Pandas指定行进行去重更新值加载数据 sample抽样函数指定需要更新的值 append直接添加 append函数用法根据某一列key值进行去重(key唯一) 加载数据首先,我们需要加载到 ...