实用干货秘籍!最经典的10个Pandas数据查询案例,收藏!
点击上方“菜鸟学Python”,选择“星标”公众号
超级无敌干货,第一时间送达!!!
大家好,我是菜鸟哥。
Pandas
的query
函数为我们提供了一种编写查询过滤条件更简单的方法,特别是在的查询条件很多的时候,在本文中整理了10个示例,掌握着10个实例你就可以轻松的使用query
函数来解决任何查询的问题。
首先,将数据集导入Pandas
import pandas as pd
df = pd.read_csv("Dummy_Sales_Data_v1.csv")
df.head()
output
它是一个简单的9999 x 12数据集,是使用Faker
创建的,我在最后也会提供本文的所有源代码。
在开始之前,先快速回顾一下Pandas
中的查询函数query
。查询函数用于根据指定的表达式提取记录,并返回一个新的DataFrame
。表达式是用字符串形式表示的条件或条件的组合。
PANDAS
中的DATAFRAME
(.loc
和.iloc
)属性用于根据行和列标签和索引提取数据集的子集。因此,它并不具备查询的灵活性。而括号符号[]
可以灵活地基于条件过滤数据帧,但是如果条件很多的话编写代码是繁琐且容易出错的。
Pandas
的query()
函数可以灵活地根据一个或多个条件提取子集,这些条件被写成表达式并且不需要考虑括号的嵌套。
在后端Pandas
使用eval()
函数对该表达式进行解析和求值,并返回表达式被求值为TRUE的数据子集或记录。所以要过滤Pandas
中的DataFrame
,需要做的就是在查询函数中指定条件即可。
使用单一条件进行过滤
在单个条件下进行过滤时,在Query()函数中表达式仅包含一个条件。返回的输出将包含该表达式评估为真的所有行。
示例1
提取数量为95的所有行,因此逻辑形式中的条件可以写为
Quantity == 95
需要将条件写成字符串,即将其包装在双引号“”
中。query
函数的代码如下
df.query("Quantity == 95")
output
看起来很简单。它返回了数量为95的所有行。如果用一般查询的方式可以写成:
df [df [“Quantity”] == 95]
但是,如果想在同一列中再包含一个条件怎么办?
它在括号符号中又增加了一对方括号,如果是3个条件或者更多条件呢?那么他就变得难以管理。这就是query
函数的优势了。
在多个条件过滤
一个或多个条件下过滤,query()
的语法都保持不变
但是需要指定两个或多个条件进行过滤的方式
and:回在满足两个条件的所有记录
or:返回满足任意条件的所有记录
示例2
查询数量为95&单位价格为182 ,这里包含单价的列被称为UnitPrice(USD),因此,条件是
Quantity == 95
UnitPrice(USD) == 182
那么代码就是:
df.query("Quantity == 95 and UnitPrice(USD) == 182")
这个查询会报错:
但是为什么报错?
这是因为query()
函数对列名有一些限制。列名称UnitPrice(USD)是无效的。我们要使用反引号把列名包含起来。
df.query("Quantity == 95 and `UnitPrice(USD)` == 182")
output
当两个条件满足时,只有3个记录。
或者我们直接将列名改成合理的格式:
df.rename(columns={'UnitPrice(USD)':'UnitPrice','Shipping_Cost(USD)':'Shipping_Cost','Delivery_Time(Days)':'Delivery_Time'},inplace=True)
这里就不需要使用反引号了:
df.query("Quantity == 95 and UnitPrice == 182")
示例3
我们现在只需要满足一个条件:
df.query("Quantity == 95 or UnitPrice == 182")
output
它返回满足两个条件中的任意一个条件的所有列。
我们也可以使用|
替代or
关键字。
示例4
假设想获得数量不等于95的所有行。最简单的答案是在条件之前使用not关键字或否定操作符〜
df.query("not(Quantity == 95)")
output
结果它包含数量不是95的所有行。
其实这里的条件不一定必须是相等运算符,可以从==
,!=
,>
,<
,≥
,≤
中选择,例如:
df.query("Quantity != 95")
文本过滤
对于文本列过滤时,条件是列名与字符串进行比较。
请query()
表达式已经是字符串。那么如何在另一个字符串中写一个字符串?将文本值包装在单个引号“”
中,就可以了。
示例5
想获得即状态“未发货”所有记录,可以在query()
表达式中写成如下的形式:
df.query("Status == 'Not Shipped'")
output
它返回所有记录,其中状态列包含值-“未发货”。
与数值的类似可以在同一列或不同列上使用多个条件,并且可以是数值和非数值列上条件的组合。
除此以外, Pandas
中的query()
方法还可以在查询表达式中使用数学计算。
查询中的简单数学计算
数学操作可以是列中的加,减,乘,除,甚至是列中值或者平方等,如下所示:
示例6
df.query("Shipping_Cost*2 < 50")
虽然这个二次方的操作没有任何的实际意义,但是我们的示例返回了所有达到要求的行。
我们还可以在一个或多个列上包含一些复杂的计算。
示例7
我们随便写一个比较复杂的公式:
df.query("Quantity**2 + Shipping_Cost**2 < 500")
output
如果使用最原始的[]的形式,这个公式的查询基本上没法完成,但是使用query()
函数则变为简单的多。
除了数学操作,还在查询表达式中使用内置函数。
查询中的内置函数
Python
内置函数,例如sort()
,abs()
,factorial()
,exp()
等,也可以在查询表达式中使用。
示例8
查找单位价格平方根的超过15的行:
df.query("sqrt(UnitPrice) > 15")
output
query()
函数还可以在同一查询表达式将函数和数学运算整合使用
示例9
df.query("sqrt(UnitPrice) < Shipping_Cost/2")
output
到目前为止,所有查询示例都是关于数值和文本列的。但是,query()
的还不仅限于这些数据类型,对于日期时间值query()
函数也可以非常灵活的过滤。
日期时间列过滤
使用query()
函数在日期时间值上进行查询的唯一要求是,包含这些值的列应为数据类型dateTime64 [ns]
在示例数据中,OrderDate
列是日期时间,但是我们的df
其解析为字符串,所以我们需要先进行转换:
df["OrderDate"] = pd.to_datetime(df["OrderDate"], format="%Y-%m-%d")
为了提取有关日期的有用信息并在query()
需要使用dt
提取器,dt
是一种访问对象,用于提取日期时间,例如DateTime
系列的属性。
示例10
获得八月份的所有记录
df.query("OrderDate.dt.month == 8")
output
所有记录都是八月份的。OrderDate.dt.month
显示了如何使用dt
访问者仅提取整个日期值的月份值。
如果提取2021年8月订购日为15或以上的所有订单,可以写成这样
df.query("OrderDate.dt.month == 8 and OrderDate.dt.year == 2021 and OrderDate.dt.day >=15")
output
dt
很好用并且可以在同一列上结合了多个条件,但表达式似乎太长了。所以可以通过编写更非常简单的表达式来过滤:
df.query("OrderDate >= '2021-08-15' and OrderDate <= '2021-08-31'")
我们直接传递一个符合日期格式的字符串,它会自动的转换并且比较:
将上面的所有内容整合:
df.query("OrderDate >= '2021-08-15' and OrderDate <= '2021-08-31' and Status =
= 'Delivered'")
output
查询表达式包含了日期时间和文本列条件,它返回了符合查询表达式的所有记录
替换
上面的查询中都会生成一个新的df。这是因为:query()
的第二个参数(inplace
)默认false
。
与一般的Pandas
提供的函数一样,inplace
的默认值都是false
,查询不会修改原始数据集。如果我们想覆盖原始df
时,需要将inplace=true
。但是一定要小心使用inplace=true
,因为它会覆盖原始的数据。
总结
我希望在阅读本文后,您可以更频繁,流利地使用Pandas
中的query()
函数,因为它可以方便以过滤数据集。这些查询的函数我每天都会或多或少的使用。
本文的所有示例代码在这里:
https://github.com/17rsuraj/data-curious/blob/master/TowardsDataScience/pandas_query_deep_dive.ipynb
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街!唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!| 再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|
年度爆款文案
1).卧槽!Pdf转Word用Python轻松搞定!
2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃
3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密
4).80行代码!用Python做一个哆来A梦分身
5).你必须掌握的20个python代码,短小精悍,用处无穷
6).30个Python奇淫技巧集
7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货
8).再见Python!我要学Go了!2500字深度分析!
9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片
点阅读原文,看B站我的视频!
实用干货秘籍!最经典的10个Pandas数据查询案例,收藏!相关推荐
- 20个Pandas数据实战案例,干货多多
今天我们讲一下pandas当中的数据过滤内容,小编之前也写过也一篇相类似的文章,但是是基于文本数据的过滤,大家有兴趣也可以去查阅一下. 下面小编会给出大概20个案例来详细说明数据过滤的方法,首先我们先 ...
- 20 个 Pandas 数据实战案例,干货多多
作者 | 俊欣 来源 | 关于数据分析与可视化 今天我们讲一下pandas当中的数据过滤内容,小编之前也写过也一篇相类似的文章,但是是基于文本数据的过滤,大家有兴趣也可以去查阅一下. 下面小编会给出大 ...
- 【Python】20个Pandas数据实战案例,干货多多
今天我们讲一下pandas当中的数据过滤内容,小编之前也写过也一篇相类似的文章,但是是基于文本数据的过滤,大家有兴趣也可以去查阅一下. 下面小编会给出大概20个案例来详细说明数据过滤的方法,首先我们先 ...
- 10.自定义异常 -- 数据库数据查询异常
自定义异常 package cn.bingou.exception;public class MsgException extends Exception{public MsgException(){ ...
- 《强化学习导论》经典课程10讲,DeepMind大神David Silver主讲
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 这个经典的10部分课程,由强化学习(RL)的驱David Silver教授,虽然录制于2015年 ...
- 干货秘籍:网易游戏《率土之滨》原画设计师分享创作设计经验
本文首发网易游戏学院,GameRes经授权发布. <率土之滨>是网易旗舰级沙盘战略手游,一直积极探索传承新方式,近期,率土之滨高校原画设计大赛正在举行,期望通过游戏为载体,让更多玩家及文化 ...
- python实用大全pdf_超级实用干货|九大技巧,带你用Python玩转PDF
原标题:超级实用干货|九大技巧,带你用Python玩转PDF 尽管PDF最开始是由Adobe发明的,但它现在已经成为国际标准组织ISO维护的公开标准了.大家可以在Python中通过PyPDF2包来处理 ...
- 杂散干扰解决办法_实用干货——6种常见杂散问题的成因分析及解决办法
原标题:实用干货--6种常见杂散问题的成因分析及解决办法 虽然目前的高分辨率SAR ADC和Σ-Δ ADC可提供高分辨率和低噪声,但可能难以实现数据手册上的额定SNR性能.而要达到最佳SFDR,也就是 ...
- (RS485 232串口通信数据解析实用干货(1)
文章目录 (RS485 232串口通信数据解析实用干货(1) 新的改变 功能快捷键 合理的创建标题,有助于目录的生成 如何改变文本的样式 插入链接与图片 如何插入一段漂亮的代码片 生成一个适合你的列表 ...
- python用于pmc排产可以吗_PMC-你最想要的实用干货来了!
原标题:PMC-你最想要的实用干货来了! 导读 daodu 来源:工业导航 PMC属于企业重要的职能部门之一,特点是具有边缘性.综合性.弹性和主导性.是企业运作的窗口与门户,可以展示各方面的协作现状. ...
最新文章
- 央视曝光:股市暴跌暴涨,投资的安全感在哪里?
- 尹中立:“人造牛市”的结局可能会非常悲惨
- java实现生产者消费者问题(转)
- 【Groovy】集合遍历 ( 使用 for 循环遍历集合 | 使用集合的 each 方法遍历集合 | 集合的 each 方法返回值分析 )
- myeclipse 2015 stable 2.0连接mysql URL错误
- 复试计算机网络与软件工程,2018华南理工大学软件工程复试经验贴
- 一套标准的ASP.NET Core容器化应用日志收集分析方案
- 前端学习(654):优化插件
- 学号 20175212 《Java程序设计》第3周学习总结
- Ubuntu下libvirt kvm配置
- baidumap vue 判断范围_一个Vue引发的性能问题
- .net core精彩实例分享 -- 应用配置和数据库访问
- python的turtle画小人_Pythonturtle画图库画姓名实例
- 【CDH】cdh搭建遇到的坑和解决过程
- hdu 4781 Beautiful Soup 构造
- 数据结构课程设计——学生成绩管理系统
- Vue 动态组件component
- 程序员因接外包坐牢!两万字长文揭露心酸真实经历
- IAR6.3创建MSP430工程
- Kaldi简介【开源语音识别工具】
热门文章
- Keil5 显示汉字时字体不生效,设置国标时,字体设置无效。
- 常见Sql面试题及答案
- 前端上传视频至阿里云并转码
- 计算机应用基础全套课件图文,计算机应用基础教程(全套课件)综述.ppt
- 【scratch案例教学】Scratch弹力球小游戏 scratch编程案例教学 少儿编程教案
- java如何删除文件夹_java代码中如何删除文件夹呢?
- CorelDRAWX4的VBA插件开发(三十六)调用C++实现一键智能群组(第5节)导出动态链接库并在VBA中静态调用
- 解决方案PPT设计:如何作出标准通用型的目录页?
- sql基础语法(增、删、改、查)
- Hive下载安装及配置