【数据平台】pandas按条件去重

场景：按 A 列去重，保留 B 列中最小的一行数据。

# -*- coding: utf-8 -*-
'''
@author: user
'''
import pandas as pddata = [[1,1,1,2,3,3], [0.2,0.3,0.4,0.1,0.2,0.4]]
data = pd.DataFrame(data)
data = [[1,1,1,2,3,3], [0.2,0.3,0.4,0.1,0.2,0.4]]
data = pd.DataFrame(data).T
data.columns=['A', 'B']
print (data)
#按 A 列去重，保留 B 列中 最小的一行数据。
#方法一：
print (data.groupby('A', as_index=False)['B'].min())
#方法二:
print(data.pivot_table(index='A', columns=None, values='B', aggfunc=min) )
#方法三：
data.sort_values(by=['B'],ascending=True)
print (data.drop_duplicates(['A']))

【数据平台】pandas按条件去重相关推荐

pandas基于条件判断更新dataframe中所有数据列数值内容的值（Conditionally updating all values in pandas Dataframe ）
pandas基于条件判断更新dataframe中所有数据列数值内容的值(Conditionally updating all values in pandas Dataframe ) 目录
pandas基于条件判断更新dataframe中特定数据列数值内容的值（Conditionally updating values in specific pandas Dataframe ）
pandas基于条件判断更新dataframe中特定数据列数值内容的值(Conditionally updating values in specific pandas Dataframe ) 目录
Excel 单表单列、单表多列、多表单列数据的条件去重罗列
文章目录前言一.应用场景二.核心内容 2.1.if() 2.2.countif() 2.3.row(),column() 2.4.text() 2.5.主函数三.使用步骤 3.1.单表单列.单 ...
Kafka集群在马蜂窝大数据平台的优化与应用扩展
导读 Kafka 是当下热门的消息队列中间件,它可以实时地处理海量数据,具备高吞吐.低延时等特性及可靠的消息异步传递机制,可以很好地解决不同系统间数据的交流和传递问题. Kafka 在马蜂窝也有非常广 ...
TableStore发布多元索引功能，打造统一的在线数据平台
什么是NoSQL "NoSQL"一词最早出现在1998年,距今刚好二十年.站在今天回头看的话,很少有人能想到在关系型数据库成熟发展了三十年,已经在数据存储领域占据了不可动摇的的地位 ...
kafka 可视化工具_Kafka集群在马蜂窝大数据平台的优化与应用扩展
Kafka 是当下热门的消息队列中间件,它可以实时地处理海量数据,具备高吞吐.低延时等特性及可靠的消息异步传递机制,可以很好地解决不同系统间数据的交流和传递问题. Kafka 在马蜂窝也有非常广泛的应 ...
大数据平台架构技术选型与场景运用
内容来源:2017年5月6日,大眼科技CTO张逸在"魅族技术开放日第八期--数据洞察"进行<大数据平台架构技术选型与场景运用>演讲分享.视频地址:https://mp. ...
行进中换轮胎——万字长文解析美团和大众点评两大数据平台是怎么融合的
点击上方"公众号"可以订阅哦本文根据作者在2017年ArchSummit的分享记录整理而成. 背景互联网格局复杂多变,大规模的企业合并重组不时发生.原来完全独立甚至相互竞争的两 ...
Kafka 集群在马蜂窝大数据平台的优化与应用扩展
Kafka 是当下热门的消息队列中间件,它可以实时地处理海量数据,具备高吞吐.低延时等特性及可靠的消息异步传递机制,可以很好地解决不同系统间数据的交流和传递问题. Kafka 在马蜂窝也有非常广泛的应 ...

【数据平台】pandas按条件去重

【数据平台】pandas按条件去重相关推荐

最新文章

热门文章