自从学会了Pandas,我用Python处理Excel更高效了
01 思考
1.Pandas是什么?
功能极其强大的数据分析库
可以高效地操作各种数据集
csv格式的文件
Excel文件
HTML文件
XML格式的文件
JSON格式的文件
数据库操作
2.经典面试题
通过面试题引出主题,读者可以思考,如果你遇到这题,该如何解答呢?
02 使用pandas来操作Excel文件
1.安装
a.通过Pypi来安装
pip install pandasb.通过源码来安装
git clone git://github.com/pydata/pandas.git
cd pandas
python setup.py install
2.按列读取数据
案例中的 lemon_cases.xlsx 文件内容如下所示:
import pandas as pd# 读excel文件# 返回一个DataFrame对象,多维数据结构df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')print(df)# 1.读取一列数据# df["title"] 返回一个Series对象,记录title这列的数据print(df["title"])# Series对象能转化为任何序列类型和dict字典类型print(list(df['title'])) # 转化为列表# title为DataFrame对象的属性print(list(df.title)) # 转化为列表print(tuple(df['title'])) # 转化为元组print(dict(df['title'])) # 转化为字典,key为数字索引# 2.读取某一个单元格数据# 不包括表头,指定列名和行索引print(df['title'][0]) # title列,不包括表头的第一个单元格# 3.读取多列数据print(df[["title", "actual"]])
3.按行读取数据
import pandas as pd# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一个DataFrame对象,多维数据结构print(df)# 1.读取一行数据# 不包括表头,第一个索引值为0# 获取第一行数据,可以将其转化为list、tuple、dictprint(list(df.iloc[0])) # 转成列表print(tuple(df.iloc[0])) # 转成元组print(dict(df.iloc[0])) # 转成字典print(dict(df.iloc[-1])) # 也支持负索引# 2.读取某一个单元格数据# 不包括表头,指定行索引和列索引(或者列名)print(df.iloc[0]["l_data"]) # 指定行索引和列名print(df.iloc[0][2]) # 指定行索引和列索引# 3.读取多行数据print(df.iloc[0:3])
4.iloc和loc方法
import pandas as pd# 读excel文件df =pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一个DataFrame对象,多维数据结构print(df)# 1.iloc方法# iloc使用数字索引来读取行和列# 也可以使用iloc方法读取某一列print(df.iloc[:, 0])print(df.iloc[:, 1])print(df.iloc[:, -1])# 读取多列print(df.iloc[:, 0:3])# 读取多行多列print(df.iloc[2:4, 1:4])print(df.iloc[[1, 3], [2, 4]])# 2.loc方法# loc方法,基于标签名或者索引名来选择print(df.loc[1:2, "title"]) # 多行一列print(df.loc[1:2, "title":"r_data"]) # 多列多行# 基于布尔类型来选择print(df["r_data"] > 5) # 某一列中大于5的数值为True,否则为Falseprint(df.loc[df["r_data"] > 5]) # 把r_data列中大于5,所在的行选择出来print(df.loc[df["r_data"] > 5, "r_data":"actual"]) # 把r_data到actual列选择出来
5.读取所有数据
import pandas as pd# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一个DataFrame对象,多维数据结构print(df)# 读取的数据为嵌套列表的列表类型,此方法不推荐使用print(df.values)# 嵌套字典的列表datas_list = []for r_index in df.index:datas_list.append(df.iloc[r_index].to_dict())print(datas_list)
6.写入数据
import pandas as pd# 读excel文件df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一个DataFrame对象,多维数据结构print(df)df['result'][0] = 1000print(df)with pd.ExcelWriter('lemon_cases_new.xlsx') as writer:df.to_excel(writer, sheet_name="New", index=False)
03 使用pandas来操作csv文件
1.读取csv文件
案例中的 data.log 文件内容如下所示:TestID,TestTime,Success0,149,01,69,02,45,03,18,14,18,1import pandas as pd# 读取csv文件# 方法一,使用read_csv读取,列与列之间默认以逗号分隔(推荐方法)# a.第一行为列名信息csvframe = pd.read_csv('data.log')# b.第一行没有列名信息,直接为数据csvframe = pd.read_csv('data.log', header=None)# c.第一行没有列名信息,直接为数据,也可以指定列名csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"])# 方法二,read_table,需要指定列与列之间分隔符为逗号csvframe = pd.read_table('data.log', sep=",")
2.解答面试题
import pandas as pd# 1.读取csv文件csvframe = pd.read_csv('data.log')# 2.选择Success为0的行new_csvframe = csvframe.loc[csvframe["Success"] == 0]result_csvframe = new_csvframe["TestTime"]avg_result = round(sum(result_csvframe)/len(result_csvframe), 2)print("TestTime最小值为:{}\nTestTime最大值为:{}\nTestTime平均值为:{}".format(min(result_csvframe), max(result_csvframe), avg_result))
04 总结
在数据分析、数据可视化领域,Pandas的应用极其广泛;在大规模数据、多种类数据处理上效率非常高。
在软件测试领域也有应用,但如果仅仅用excel来存放测试数据,使用Pandas就有点 “杀鸡焉用宰牛刀” 的感觉,那么建议使用特定的模块来处理(比如 openpyxl )
现在我邀请你进入我们的软件测试学习交流群:【
746506216
】,备注“入群”, 大家可以一起探讨交流软件测试,共同学习软件测试技术、面试等软件测试方方面面,还会有免费直播课,收获更多测试技巧,我们一起进阶Python自动化测试/测试开发,走向高薪之路。
喜欢软件测试的小伙伴们,如果我的博客对你有帮助、如果你喜欢我的博客内容,请 “点赞” “评论” “收藏” 一 键三连哦!
自从学会了Pandas,我用Python处理Excel更高效了相关推荐
- 数据分析:为什么说Python比Excel更简单高效 ?
日本最大的证券公司之一野村证券首席数字官马修·汉普森,在Quant Conference上发表讲话:"用Excel的人越来越少,大家都在用Python." 甚至直接说:" ...
- python快速整理excel_使用pandas包用python清理excel数据
我用pandas使用pd.read_excel将xls文件读入 Python 我正在努力清理我的数据,但我已经离开了我的联盟. 每条记录之间都有一个空行.在示例pic中,它优于第4,9和11行. 有一 ...
- numpy 最大值_使用 NumPy 让你的 Python 科学计算更高效
具体的原理我也不大懂,简单理解就是Numpy的计算效率更高一些. Numpy里有两个对象: ndarray,实际上就是多维数组的含义,在Numpy数组中,维数称为秩(rank),一维数组的秩为 1,二 ...
- python爬虫多久能学会-不踩坑的Python爬虫:如何在一个月内学会爬取大规模数据...
原标题:不踩坑的Python爬虫:如何在一个月内学会爬取大规模数据 Python爬虫为什么受欢迎 如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方 ...
- python实现excel筛选功能并输出_Python商务办公系列——pandas实现Excel筛选和编辑...
写在前面 各位大大,晚上好,我想死你们了!相信看这两期文章的朋友可能会注意到,这两期文章的开头都附带了小编自己的个人博客网址,没错,正是在这几周,小编终于完成了对于自己博客的搭建工作,以后小编会在微信 ...
- python在excel中的应用-Python利用pandas处理Excel数据的应用详解
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用p ...
- python与excel的应用-Python利用pandas处理Excel数据的应用
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用p ...
- python对excel操作简书_Python实现EXCEL常用操作——pandas简介
知乎的代码块太丑了,这里的内容就更新到简书了Python实现EXCEL常用操作--pandas简介www.jianshu.com EXCEL是日常办公最常用的软件,然而遇到数据量特别大(超过10W条 ...
- pandas整表写入excel指定位置_当Python遇到Excel,一个能打的都没有~
几乎人人都在用Excel,这种极易上手的数据分析工具无处不在,一旦你掌握了窍门,它就变得非常强大.而Python通常被认为更具有挑战性,但能做的事也更多. 当Python遇到Excel会发生什么?本文 ...
最新文章
- 【机器学习】【条件随机场CRF-3】条件随机场的参数化形式详解 + 画出对应的状态路径图 + 给出对应的矩阵表示...
- 【Android OpenGL ES】阅读hello-gl2代码(二)Java代码
- Micropython TPYBoard v102 自动浇花实验
- 箱线图的四分位怎么计算_Minitab图形 | 箱线图—3解释结果
- Spring 基于设值函数的依赖注入
- php中for循环控制讲解,PHP教程第九讲——PHP开发基础:PHP的循环控制语句
- [2019CSP多校联赛普及组第五周] 调度CPU (贪心)
- 郑杰 | 如何拿回我们自己的医疗数据?
- 为PHP添加swoole异步并行扩展
- 2019.04.07 电商12 登录界面的验证
- python自动填表格_Python读写Excel自动填表
- 通过js检测当前浏览器是否是无头浏览器
- 木马开发的基本理论基础(四)
- xsmax进入dfu模式_iPhoneXSMax怎么强制重启-如何进入DFU模式
- 2019年秋季校招前端面经
- 2019年香港银行开户如何才能开成功呢?
- 中国1978-2008年GDP与M2关系的实证分析
- AD-SAL与MD-SAL的比较
- 计算机里面百度云同步盘,百度云同步盘和百度网盘之间的区别是什么
- 彼得·蒂尔:新核能市场将成风投热土