【Python实战】Pandas:让你像写SQL一样做数据分析(一)
来源:http://www.cnblogs.com/en-heng/p/5630849.html
# -*- coding: utf-8 -*-
"""
Created on Sun Dec 31 18:12:11 2017
@author: ASUS
"""
#【Python实战】Pandas:让你像写SQL一样做数据分析(一)
#https://www.cnblogs.com/en-heng/p/5630849.html
import pandas as pd
import numpy as np
df = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59],
'tip': [1.01, 1.66, 3.50, 3.31, 3.61],
'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})
# data type of columns
df.dtypes
# indexes
df.index
# return pandas.Index
df.columns
# each row, return array[array]
df.values
# a tuple representing the dimensionality of df
df.shape
#loc,基于列label,可选取特定行(根据行index);
#iloc,基于行/列的position,也就是序号;
print df.loc[1:3, ['total_bill', 'tip']]
print df.loc[1:3, 'tip': 'total_bill']
print df.iloc[1:3, [1, 2]]
print df.iloc[1:3, 1: 3]
#at,根据指定行index及列label,快速定位DataFrame的元素;
#iat,与at类似,不同的是根据position来定位的;
print df.at[3, 'tip']
print df.iat[3, 1]
#ix,为loc与iloc的混合体,既支持label也支持position;
print df.ix[1:3, [1, 2]]
print df.ix[1:3, ['total_bill', 'tip']]
#此外,有更为简洁的行/列选取方式:
print df[1: 3]
print df[['total_bill', 'tip']]
#Pandas实现where filter,较为常用的办法为df[df[colunm] boolean expr],比如:
print df[df['sex'] == 'Female']
print df[df['total_bill'] > 20]
# or
print df.query('total_bill > 20')
# and
print df[(df['sex'] == 'Female') & (df['total_bill'] > 20)]
# or
print df[(df['sex'] == 'Female') | (df['total_bill'] > 20)]
# in
print df[df['total_bill'].isin([21.01, 23.68, 24.59])]
# not
print df[-(df['sex'] == 'Male')]
print df[-df['total_bill'].isin([21.01, 23.68, 24.59])]
#对where条件筛选后只有一行的dataframe取其中某一列的值,其两种实现方式如下:
total = df.loc[df['tip'] == 1.66, 'total_bill'].values[0]
#drop_duplicates根据某列对dataframe进行去重:
df.drop_duplicates(subset=['sex'], keep='first', inplace=True)
#包含参数:
#subset,为选定的列做distinct,默认为所有列;
#keep,值选项{'first', 'last', False},保留重复元素中的第一个、最后一个,或全部删除;
#inplace ,默认为False,返回一个新的dataframe;若为True,则返回去重后的原dataframe
#group
#group一般会配合合计函数(Aggregate functions)使用,比如:count、avg等。Pandas对合计函数的支持有限,有count和size函数实现SQL的count:
print df.groupby('sex').size()
print df.groupby('sex').count()
print df.groupby('sex')['tip'].count()
#对于多合计函数,
#select sex, max(tip), sum(total_bill) as total
#from tips_tb
#group by sex;
#实现在agg()中指定dict:
print df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum})
# count(distinct **)
print df.groupby('tip').agg({'sex': pd.Series.nunique})
#SQL中使用as修改列的别名,Pandas也支持这种修改:
# first implementation
df.columns = ['total', 'pit', 'xes']
# second implementation
df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)
#其中,第一种方法的修改是有问题的,因为其是按照列position逐一替换的。因此,我推荐第二种方法。
#join
#Pandas中join的实现merge:
# 2. 第一种方法是按DataFrame的index进行join的,而第二种方法才是按on指定的列做join。Pandas满足left、right、inner、full outer四种join方式。
pd.merge(df1, df2, how='left', left_on='sex', right_on='sex')
#order
#Pandas中支持多列order,并可以调整不同列的升序/降序,有更高的排序自由度:
print df.sort_values(['total_bill', 'tip'], ascending=[False, True])
#top
#对于全局的top:
print df.nlargest(3, columns=['total_bill'])
#对于分组top,MySQL的实现(采用自join的方式):
select a.sex, a.tip
from tips_tb a
where (
select count(*)
from tips_tb b
where b.sex = a.sex and b.tip > a.tip
) < 2
order by a.sex, a.tip desc;
#Pandas的等价实现,思路与上类似:
# 1.
df.assign(rn=df.sort_values(['total_bill'], ascending=False).groupby('sex').cumcount()+1).query('rn < 3').sort_values(['sex', 'rn'])
# 2.
df.assign(rn=df.groupby('sex')['total_bill'].rank(method='first', ascending=False)).query('rn < 3').sort_values(['sex', 'rn'])
#replace
#replace函数提供对dataframe全局修改,亦可通过where条件进行过滤修改(搭配loc):
# overall replace
df.replace(to_replace='Female', value='Sansa', inplace=True)
# dict replace
df.replace({'sex': {'Female': 'Sansa', 'Male': 'Leone'}}, inplace=True)
# replace on where condition
df.loc[df.sex == 'Male', 'sex'] = 'Leone'
自定义
除了上述SQL操作外,Pandas提供对每列/每一元素做自定义操作,为此而设计以下三个函数:
map(func),为Series的函数,DataFrame不能直接调用,需取列后再调用;
apply(func),对DataFrame中的某一行/列进行func操作;
applymap(func),为element-wise函数,对每一个元素做func操作
print df['tip'].map(lambda x: x - 1)
print df[['total_bill', 'tip']].apply(sum)
print df.applymap(lambda x: x.upper() if type(x) is str else x)
#3. 实战
#环比增长
#现有两个月APP的UV数据,要得到月UV环比增长;该操作等价于两个Dataframe left join后按指定列做减操作:
def chain(current, last):
df1 = pd.read_csv(current, names=['app', 'tag', 'uv'], sep='\t')
df2 = pd.read_csv(last, names=['app', 'tag', 'uv'], sep='\t')
df3 = pd.merge(df1, df2, how='left', on='app')
df3['uv_y'] = df3['uv_y'].map(lambda x: 0.0 if pd.isnull(x) else x)
df3['growth'] = df3['uv_x'] - df3['uv_y']
return df3[['app', 'growth', 'uv_x', 'uv_y']].sort_values(by='growth', ascending=False)
#差集
#对于给定的列,一个Dataframe过滤另一个Dataframe该列的值;相当于集合的差集操作:
def difference(left, right, on):
"""
difference of two dataframes
:param left: left dataframe
:param right: right dataframe
:param on: join key
:return: difference dataframe
"""
df = pd.merge(left, right, how='left', on=on)
left_columns = left.columns
col_y = df.columns[left_columns.size]
df = df[df[col_y].isnull()]
df = df.ix[:, 0:left_columns.size]
df.columns = left_columns
return df
【Python实战】Pandas:让你像写SQL一样做数据分析(一)相关推荐
- Python实战项目(二)写一个枪林弹雨的辅助外挂
Python实战项目(二)用python写枪战游戏-枪林弹雨的辅助程序 声明:本文章纯属个人学习所作,切勿用于非法渠道.转载请注明原文链接. 最近闲得无聊,在qq微端上找游戏玩,偶然看见一个枪战游戏, ...
- 【Python】Pandas在数据库中执行SQL语句并加载结果
提示 建议采用 try-except-finally- 或者 try-finally- ,保证与数据库的连接被关闭. SQL语句入门很简单 (精深很难) ,不会的自己去简单学学. 建库建表 注意con ...
- python爬取了百万知乎,并做数据分析
向AI转型的程序员都关注了这个号
- python在excel中的应用-Python利用pandas处理Excel数据的应用详解
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用p ...
- python与excel的应用-Python利用pandas处理Excel数据的应用
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用p ...
- python处理excel表格-Python利用pandas处理Excel数据的应用
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用p ...
- [转载] Python利用pandas处理Excel数据的应用
参考链接: Python | Pandas数据比较与选择 最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做 ...
- python读取数据库数据类型_Python实现从SQL型数据库读写dataframe型数据的方法【基于pandas】...
本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法.分享给大家供大家参考,具体如下: Python的pandas包对表格化的数据处理能力很强,而SQL数据库的数据就是以表 ...
- 手把手带你用Python做数据分析和可视化项目实战,能写进简历的那种!(另送15个实战案例)...
最近几年,数据分析可真是太火了. 阿里.字节等互联网巨头基于大数据打造的商业模式获得巨大成功,使得"数据思维"."数据能力"迅速成为衡量职场人能力的核心指标,专 ...
最新文章
- WCF 4.0 Issues with IIS 7.0 on x86 and x64 bit Machines(转载)
- 【原创】VSFTP: Login failure: 530 Login incorrect的解决办法
- win10安装tesserocr配置 Python使用tesserocr识别字母数字验证码
- mysql windows集群_Mysql集群windows服务器版搭建过程
- 将枚举的键值绑定到下拉列表框
- jmeter安装包_分布式执行jmeter脚本步骤(非GUI)
- 【华为云技术分享】【DevCloud · 敏捷智库】如何利用核心概念解决估算常见问题
- 初中级工程师是否应急于学习html5?
- 一文读懂全球CTRM市场的前世今生
- 记者调查:害死多条人命的校园贷卷土重来 支付机构金运通牵涉其中
- 什么叫做镶件?什么情况下需要做镶件?模具做镶件有什么缺陷?
- MySQL通过frm和idb恢复数据库的方法
- 01-初探MQ-MQ的三大使用场景:应用解耦、异步提速、削峰填谷
- 路演活动平台,怎么报名参加创业路演?
- 关于阿里云主机万网虚拟主机建立多个网站教程,很实用!
- 中级人力资源管理师(中级经济师)备考攻略
- 【数据挖掘】关联规则挖掘
- 使用htop查看资源使用情况
- 添加vcsa7.0证书密钥记录
- Bartender 4:图标显示切换大变样,还能在菜单栏自定义文字
热门文章
- 【系统安全】X509证书介绍
- 全面解析以太网交换机的作用与功能
- java项目processes设置,processes参数设置
- 数据排序之后相邻数的最大差值
- python办公自动化应用实例_带你用Python玩转PPT
- 智能窗帘定时程序c语言,基于51单片机的智能窗帘程序设计
- .net core confluent kafka消费者
- [原创].NET 业务框架开发实战之十 第一阶段总结,深入浅出,水到渠成(后篇)...
- 如何上传全国计算机考试的图片,操作令人窒息!报名计算机考试照片上传成逗比表情包...
- 【R9000P相机问题】打开相机应用摄像头无法使用,显示小锁的图标处理方法