Python—pandas中DataFrame类型数据操作函数
python数据分析工具pandas中DataFrame和Series作为主要的数据结构.
本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。
1)查看DataFrame数据及属性
df_obj = DataFrame() #创建DataFrame对象
df_obj.dtypes #查看各行的数据格式
df_obj['列名'].astype(int)#转换某列的数据类型
df_obj.head() #查看前几行的数据,默认前5行
df_obj.tail() #查看后几行的数据,默认后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看数据值
df_obj.describe() #描述性统计
df_obj.T #转置
df_obj.sort_values(by=['',''])#同上
2)使用DataFrame选择数据:
df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
df_obj.ix[columns_index] #获取列的数据
df_obj.ix[1:3,[1,3]]#获取1列3列的1~3行数据
df_obj[columns].drop_duplicates() #剔除重复行数据
3)使用DataFrame重置数据:
df_obj.ix[1:3,[1,3]]=1#所选位置数据替换为1
4)使用DataFrame筛选数据(类似SQL中的WHERE):
alist = ['023-18996609823']
df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行
5)使用DataFrame模糊筛选数据(类似SQL中的LIKE):
df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
6)使用DataFrame进行数据转换(后期补充说明)
df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’
7)使用pandas中读取数据:
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据,pd.read_excel读取的数据是以DataFrame形式存储
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据
8)使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):
data_obj['用户标识'].groupby(data_obj['支局_维护线'])
data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法
adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL
9)使用pandas合并数据集(类似SQL中的JOIN):
merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.
10)清理数据
df[df.isnull()]
df[df.notnull()]
df.dropna()#将所有含有nan项的row删除
df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除
df.dropna(how='ALL')#将全部项都是nan的row删除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #对第一列nan值赋0,第二列赋值0.5
df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN
参考:
https://blog.csdn.net/ly_ysys629/article/details/54428838
https://www.cnblogs.com/IvyWong/p/9203981.html
Python—pandas中DataFrame类型数据操作函数相关推荐
- python查看dataframe数据类型_python pandas中DataFrame类型数据操作函数的方法
python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数. 1)查看DataFrame数 ...
- python dataframe函数_python pandas中DataFrame类型数据操作函数的方法
这篇文章主要介绍了关于python pandas中DataFrame类型数据操作函数的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 python数据分析工具pandas中Data ...
- pandas中DataFrame的常用操作
1. DataFrame的创建 (1)手动创建 df = pd.DataFrame({'a':[1,2,3],'b':[1,2,3]}) print(df) 结果为: a b 0 1 1 1 2 2 ...
- Python,pandas中DataFrame的选取总结
pandas中选取方式有很多种,最常用的是一下几种:直接选取(单维度选取).iloc();loc();ix()函数选取(区域选区),at();iat()函数选取(单元格选取). 通过以上几种方式可以实 ...
- Python pandas中DataFrame逐行读取的方法(pandas.core.frame.DataFrame类型)
import pandas as pddict=[[1,2,3,4,5,6],[2,3,4,5,6,7],[3,4,5,6,7,8],[4,5,6,7,8,9],[5,6,7,8,9,10]] dat ...
- pandas 中DataFrame使用:数据标准化、数据分组、日期转换、日期格式化、日期抽取
本文测试使用Pandas使用的是Spyder,python3.6版本,已经安装好pandas包.测试数据已放云盘:链接:https://pan.baidu.com/s/1zozpY2BUTIvEJKf ...
- 汇总pandas中dataframe的删除操作
文章目录 数据集 去重 删除某行或某列 删除某行 删除某列 去空 数据集 去重 df.drop_duplicates(["height","weight"])# ...
- python pandas series加速原理_python pandas中对Series数据进行轴向连接的实例
有时候我们想要的数据合并结果是数据的轴向连接,在pandas中这可以通过concat来实现.操作的对象通常是Series. Ipython中的交互代码如下: In [17]: from pandas ...
- 将pandas中Dataframe数据转换为二维数组array
在实际的数据处理中,遇到将pandas中Dataframe的数据怎样去掉行列标签的问题,最后想到可以转化为二维数组来解决.思路如下: 一个Dataframe如下: pd: age astigmatic ...
最新文章
- 安装python爬虫scrapy踩过的那些坑和编程外的思考
- java 打印一棵树_java编程题之从上往下打印出二叉树
- tsp 分支界限 java_干货 | 10分钟教你用branch and bound(分支定界)算法求解TSP旅行商问题...
- jar 工程我怎么在网页上url访问某一个方法_搜狗用这个骚技术,把百度逼上了绝路。。。...
- sql android客户端,XSGManage: 学生成绩管理系统---客户端,基于Android+Django+sqlit3开发...
- 微型计算机继电器控制,可编程控制器与微机及继电器控制的区别 -解决方案-华强电子网...
- XE7 Unit scope names
- 用计算机思维认识摩斯密码(摩斯密码速记)
- 完成一个个人博客,博客头像可上传本地图片;部分图片实现点击看大图功能
- excel 组合框控件使用方法
- python爬虫工程师面试自我介绍范文_计算机工程师面试自我介绍范文五篇
- 5G网络测速,实在是太快了!
- 用3D打印快速制作软生物电子植入物原型,有助于将大脑连接到电脑
- Android应用测试方法总结
- Java 17新特性,快到起飞?惊呆了!
- unity塔防游戏怪物转向_怪兽塔防手机版下载-怪兽塔防游戏下载v1.4 安卓版
- 《认知觉醒》的读后感
- 定时每天凌晨一点在linux系统上执行一个autobuild.sh脚本如何实现?
- Excel-给文本框赋值/写入公式
- 第45讲 控制LED灯设备