python explode_pandas dataframe 中的explode函数用法详解
在使用 pandas 进行数据分析的过程中,我们常常会遇到将一行数据展开成多行的需求,多么希望能有一个类似于 hive sql 中的 explode 函数。
这个函数如下:
Code
# !/usr/bin/env python
# -*- coding:utf-8 -*-
# create on 18/4/13
import pandas as pd
def dataframe_explode(dataframe, fieldname):
temp_fieldname = fieldname + '_made_tuple_'
dataframe[temp_fieldname] = dataframe[fieldname].apply(tuple)
list_of_dataframes = []
for values in dataframe[temp_fieldname].unique().tolist():
list_of_dataframes.append(pd.DataFrame({
temp_fieldname: [values] * len(values),
fieldname: list(values),
}))
dataframe = dataframe[list(set(dataframe.columns) - set([fieldname]))].merge(pd.concat(list_of_dataframes), how='left', on=temp_fieldname)
del dataframe[temp_fieldname]
return dataframe
df = pd.DataFrame({'listcol':[[1,2,3],[4,5,6]], "aa": [222,333]})
df = dataframe_explode(df, "listcol")
Description
将 dataframe 按照某一指定列进行展开,使得原来的每一行展开成一行或多行。( 注:该列可迭代, 例如list, tuple, set)
补充知识:Pandas列中的字典/列表拆分为单独的列
我就废话不多说了,大家还是直接看代码吧
[1] df
Station ID Pollutants
8809 {"a": "46", "b": "3", "c": "12"}
8810 {"a": "36", "b": "5", "c": "8"}
8811 {"b": "2", "c": "7"}
8812 {"c": "11"}
8813 {"a": "82", "c": "15"}
Method 1:
step 1: convert the Pollutants column to Pandas dataframe series
df_pol_ps = data_df['Pollutants'].apply(pd.Series)
df_pol_ps:
a b c
0 46 3 12
1 36 5 8
2 NaN 2 7
3 NaN NaN 11
4 82 NaN 15
step 2: concat columns a, b, c and drop/remove the Pollutants
df_final = pd.concat([df, df_pol_ps], axis = 1).drop('Pollutants', axis = 1)
df_final:
StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15
Method 2:
df_final = pd.concat([df, df['Pollutants'].apply(pd.Series)], axis = 1).drop('Pollutants', axis = 1)
df_final:
StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15
以上这篇pandas dataframe 中的explode函数用法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。
本文标题: pandas dataframe 中的explode函数用法详解
本文地址: http://www.cppcns.com/jiaoben/python/313653.html
python explode_pandas dataframe 中的explode函数用法详解相关推荐
- Python setattr()、getattr()、hasattr()函数用法详解
Python setattr().getattr().hasattr()函数用法详解 除了前面介绍的几个类中的特殊方法外,本节再介绍 3 个常用的函数,分别是 hasattr().getattr() ...
- PHP explode函数用法详解
1. 官方说明 explode(string $separator, string $string, int $limit = PHP_INT_MAX): array 将字符串分割成数组 2. 参数详 ...
- C++ 中的getline()函数用法详解
遇到了要输入一行字符串的操作,我想除了fgets()的方法(fgets()用法链接),getline()也是可以的,但是我对getline的操作不熟悉,便查阅了很多资料,发现都说的很模糊,借这个机会我 ...
- C++中的set函数用法详解
1.关于set C++ STL 之所以得到广泛的赞誉,也被很多人使用,不只是提供了像vector, string, list等方便的容器,更重要的是STL封装了许多复杂的数据结构算法和大量常用数据结构 ...
- Numpy中np.indices函数用法详解
np.indices官方文档定义如下: def indices(dimensions, dtype=int, sparse=False):"""Return an arr ...
- python中mat函数_Python中flatten( )函数及函数用法详解
flatten()函数用法 flatten是numpy.ndarray.flatten的一个函数,即返回一个一维数组. flatten只能适用于numpy对象,即array或者mat,普通的list列 ...
- python中如何反解函数_PyTorch中反卷积的用法详解
pytorch中的 2D 卷积层 和 2D 反卷积层 函数分别如下: class torch.nn.Conv2d(in_channels, out_channels, kernel_size, str ...
- python中import re_Python3中正则模块re.compile、re.match及re.search函数用法详解
本文实例讲述了Python3中正则模块re.compile.re.match及re.search函数用法.分享给大家供大家参考,具体如下: re模块 re.compile.re.match. re.s ...
- python中isinstance怎么用_pythonisinstance函数用法详解
这篇文章主要介绍了python isinstance函数用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 isinstance() 函数来判断 ...
最新文章
- 引争议!硕导提议高校教师应多配偶,这样就能多生娃!高校的处理通报来了...
- CV之MobiLenet:基于openpose利用CMU/MobilenetV2算法实现对多人体姿态(2019湖人勒布朗詹姆斯扣篮)实时估计检测
- pc817光耦参数_光耦在电子电路中有什么作用?关键参数有哪些?一起了解一下...
- 几个有用的word小技巧,保准提升效率~
- Linux 系统中的dvfs功能
- PTA数据结构期末练习 - 单选题、判断题
- 窥探日志的秘密【华为云分享】
- 英伟达吞并ARM的交易计划失败!
- Facebook要造芯片了,开发团队正在组建中
- Java基础篇:文件如何读写?
- 自媒体免费素材,国旗高清无水印素材,PNG格式,直接引用即可
- [软件更新]影拓三代 PTZ系列 系列 驱动程序 V6.1.1-3{链接已修复}
- 模电摸索日记之《晶体管放大电路》
- 20160909阿里校招数据研发工程师笔试总结
- Linux(五、六)文本处理,文件内容显示和文件其他操作学习
- html 通过name选择器,用name方式获得选择器总结
- 不要使用容易被误解的名字
- mp3 编辑 linux,Linux_Ubuntu 32/64位安装音乐标签编辑器Kid3的方法, Kid3能够修改mp3中ID3的tag标 - phpStudy...
- KR通过Server酱通知
- 2018用友双百总结
热门文章
- 《啥是佩奇》的一些思考
- 使用 TiDB Dashboard 诊断报告定位问题
- (JAVA)支付宝小程序登录相关(authToken获取用户唯一userId、encryptedData解密手机号)
- 黑客系列-以彼之道还施彼身
- go mysql transfer_部署运行 · go-mysql-transfer产品手册 · 看云
- linux中grep与wc命令,Linux高效数据统计命令wc
- python字符串排序方法
- Android重力感应 .
- 生鲜电商之路,2014年谁能马到成功?
- dell笔记本c语言系统,戴尔Latitude 5280笔记本如何将自带win10改成win7