python科学计算笔记(九)pandas中DataFrame数据操作函数
Python数据分析工具pandas中DataFrame和Series作为主要的数据结构.
本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。
1)查看DataFrame数据及属性
df_obj = DataFrame() #创建DataFrame对象
df_obj.dtypes #查看各行的数据格式
df_obj['列名'].astype(int)#转换某列的数据类型
df_obj.head() #查看前几行的数据,默认前5行
df_obj.tail() #查看后几行的数据,默认后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看数据值
df_obj.describe() #描述性统计
df_obj.T #转置
df_obj.sort_values(by=['',''])#同上
2)使用DataFrame选择数据:
df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
df_obj.ix[columns_index] #获取列的数据
df_obj.ix[1:3,[1,3]]#获取1列3列的1~3行数据
df_obj[columns].drop_duplicates() #剔除重复行数据
3)使用DataFrame重置数据:
df_obj.ix[1:3,[1,3]]=1#所选位置数据替换为1
4)使用DataFrame筛选数据(类似SQL中的WHERE):
alist = ['023-18996609823']
df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行
5)使用DataFrame模糊筛选数据(类似SQL中的LIKE):
df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
6)使用DataFrame进行数据转换(后期补充说明)
df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’
7)使用pandas中读取数据:
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据,pd.read_excel读取的数据是以DataFrame形式存储
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据
8)使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):
data_obj['用户标识'].groupby(data_obj['支局_维护线'])
data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法
adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL
9)使用pandas合并数据集(类似SQL中的JOIN):
merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.
10)清理数据
df[df.isnull()]
df[df.notnull()]
df.dropna()#将所有含有nan项的row删除
df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除
df.dropna(how='ALL')#将全部项都是nan的row删除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #对第一列nan值赋0,第二列赋值0.5
df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN
实例
1. 读取excel数据
代码如下
import pandas as pd# 读取高炉数据,注意文件名不能为中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data
测试结果如下
燃料比 顶温西南 顶温西北 顶温东南 顶温东北
0 531.46 185 176 176 174
1 510.35 184 173 184 188
2 533.49 180 165 182 177
3 511.51 190 172 179 188
4 531.02 180 167 173 180
5 511.24 174 164 178 176
6 532.62 173 170 168 179
7 583.00 182 175 176 173
8 530.70 158 149 159 156
9 530.32 168 156 169 171
10 528.62 164 150 171 169
2. 切片处理,选取行或列,修改数据
代码如下:
data_1row=data.ix[1]
data_5row_2col=data.ix[0:5,[u'燃料比',u'顶温西南']
print data_1row,data_5row_2col
data_5row_2col.ix[0:1,0:2]=3
测试结果如下:
燃料比 510.35
顶温西南 184.00
顶温西北 173.00
顶温东南 184.00
顶温东北 188.00
Name: 1, dtype: float64 燃料比 顶温西南
0 531.46 185
1 510.35 184
2 533.49 180
3 511.51 190
4 531.02 180
5 511.24 174燃料比 顶温西南
0 3.00 3
1 3.00 3
2 533.49 180
3 511.51 190
4 531.02 180
5 511.24 174
格式说明,data_5row_2col.ix[0:1,0:2],data_5row_2col.ix[0:1,[0,2]],选取部分行和列需加”[]”
3. 排序
代码如下:
print data_1row.sort_values()
print data_5row_2col.sort_values(by=u'燃料比')
测试结果如下:
顶温西北 173.00
顶温西南 184.00
顶温东南 184.00
顶温东北 188.00
燃料比 510.35
Name: 1, dtype: float64燃料比 顶温西南
1 510.35 184
5 511.24 174
3 511.51 190
4 531.02 180
0 531.46 185
2 533.49 180
4. 删除重复的行
代码如下:
print data_5row_2col[u'顶温西南'].drop_duplicates()#剔除重复行数据
测试结果如下:
0 185
1 184
2 180
3 190
5 174
Name: 顶温西南, dtype: int64
说明:从测试结果3中可以看出顶温西南index=2的数据与index=4的数据重复,测试结果4显示将index=4的顶温西南数据删除
python科学计算笔记(九)pandas中DataFrame数据操作函数相关推荐
- Python将Pandas中Dataframe数据保存为gzip/zip文件:gzip压缩文件、zip压缩文件
Python将Pandas中Dataframe数据保存为gzip/zip文件:gzip压缩文件.zip压缩文件 目录 Python将Pandas中Dataframe数据保存为gzip/zip文件:gz ...
- Python之pandas:对pandas中dataframe数据中的索引输出、修改、重命名等详细攻略
Python之pandas:对pandas中dataframe数据中的索引输出.修改.重命名等详细攻略 目录 对pandas中dataframe数据中的索引输出.修改.重命名等详细攻略 知识点学习 输 ...
- 数据科学 IPython 笔记本 7.6 Pandas 中的数据操作
7.6 Pandas 中的数据操作 原文:Operating on Data in Pandas 译者:飞龙 协议:CC BY-NC-SA 4.0 本节是<Python 数据科学手册>(P ...
- 将pandas中Dataframe数据转换为二维数组array
在实际的数据处理中,遇到将pandas中Dataframe的数据怎样去掉行列标签的问题,最后想到可以转化为二维数组来解决.思路如下: 一个Dataframe如下: pd: age astigmatic ...
- python科学计算笔记(十)pandas中时间、日期以及时间序列处理
Python标准库包含于日期(date)和时间(time)数据的数据类型,datetime.time以及calendar模块会被经常用到. datetime以毫秒形式存储日期和时间,datetime. ...
- python科学计算笔记(十一)pandas中date_range生成指定日期
生成指定日期范围的范围 pandas.date_range()用于生成指定长度的DatatimeIndex: 1)默认情况下,date_range会按着时间间隔为天的方式生成从给定开始到结束时间的时间 ...
- python科学计算笔记(十四)pandas数据过滤、清理、转换
本篇博客主要内容 1)移除重复数据(duplicated) 2)利用函数或映射进行数据转换(map) 3)替换值(replace) 4)重命名轴索引 5)检测和过滤异常值(逻辑索引) 6)随机采样或选 ...
- python科学计算笔记(十三)pandas的merge、concat合并数据集
本篇博客主要介绍: 合并数据集:.merge()..concat()等方法,类似于SQL或其他关系型数据库的连接操作. 合并数据集 1) merge 函数参数 参数 说明 left 参与合并的左侧Da ...
- python科学计算笔记(一)NumPy中ndarray对象、ufunc运算、矩阵运算
标准安装的Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元素可以是任何对象,因此列表中所保存的是对象的指针.这样为了保存一个简单的[1,2,3],需要有3个指针和三个 ...
最新文章
- 51nod 1038 X^A Mod P( N 次剩余)
- 800 名科学家联名主张废除 p 值!斯坦福教授直言,没有p值,期刊将充斥“无可辩驳的废话”!...
- ABAP的语法高亮是如何在浏览器里显示的
- Docker监控方案(TIG)的研究与实践之Influxdb
- 算法提高 拿糖果【埃氏筛 动态规划】
- X86逆向实战7:使用万能断点通杀
- 一夜上手uni-app
- 【月伴流星】GhostW7_SP1_U_x64_V2013.07_OEM通用纯净、装机、美化版(三版齐发)
- 在mini2440上面搞定CC2500驱动
- 400错误,The server cannot or will not process the request due to something that is perceived to be a c
- IFR202型红外雨量传感器非接触式检测降雨量的传感器
- 阿里天池大数据之移动推荐算法大赛总结及代码全公布
- java for 代表什么意思_java中的for是什么意思
- Mysql安装错误ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost:3306‘ (10061)
- 2020-10-7 CCNA学习笔记
- sparql入门-中文教程
- Kotlin系列——构造函数精讲
- 【考研复试】面试问答
- 谈谈实体的 ID 与“键”
- 车联网车辆统一信息管理平台整体系统、统一车辆管理车辆监控平台设计与开发、电力车辆管理系统车载终端T-BOX、车辆监控平台、车辆管理系统、国标TBOX车载终端、国标车载TBOX
热门文章
- 18行代码解决:(C语言)L1-046 整除光棍 (20分)
- 编译原理习题(含答案)——2程序设计语言及其文法——MOOC哈尔滨工业大学陈鄞配套
- 如何快速理解递归——看这个就可以了
- [leetcode] 337.打家劫舍3
- 1.7 ConcurrentHashMap增删改查
- python对列表进行分页_python列表分页
- python变成exe后启动弹出选文件窗口_通过.py脚本执行的.exe文件隐藏控制台窗口...
- php ci rest,在CodeIgniter框架中使用RESTful服务
- linux python连接oracle数据库_Linux下通过python访问MySQL、Oracle、SQL Server数据库的方法...
- 给Win7光盘添加PE3.0